广告

神经拟态计算基准测试难在哪里?

2021-11-15 11:20:00 Sunny Bains 阅读:
神经拟态计算基准测试难在哪里?
神经拟态计算是工程师正在尝试的一个全新领域,不易与其他系统进行比较可能是这项技术的一个难点。基准测试过去几年已逐渐成为神经拟态工程的热门话题,对于使用不同接口、编码、技术和方法的神经拟态系统,开发人员要如 何进行基准测试并且要花多长时间呢?

新技术的成功在一定程度上取决于这种技术所带来的价值,简单说就是要证明新技术比竞争对手的技术好。新技术只有带来新的价值,才能吸引投资者,并让管理者满意。在现有产品的基础上设计一个更小、更快、更轻、更有效的替代品相对比较容易,而创造一个完全不同的新东西要困难得多。dXkednc

神经拟态计算就是工程师正在尝试的一个全新领域,不同系统之间(神经拟态和其他系统)不易进行比较可能是这项技术的一个难点。dXkednc

产生这个难点的一部分原因是因为该领域很复杂。神经拟态技术是从大脑汲取灵感。但正如我们之前所讨论的,要将灵感变为现实,从硬件层面来看有很多种方法,如模拟或数字、尖峰或非尖峰、连续或离散时间、虚拟或直接神经元连接。dXkednc

不同工作小组的目标和重心有时候也各不相同。一些想要仿真生物学,一些专注于能源效率,另外一些希望仿真类人智能,还有一些则只想为日常机器学习的难题找到实用的解决方案。dXkednc

那么,对使用不同接口、编码、技术和方法的神经拟态系统,开发人员要如何进行基准测试并且要花多长时间呢?基准测试过去几年已逐渐成为神经拟态工程的热门话题。实际上2016年就已经开始比较不同应用中的系统,或者运行不同的算法、网络或算法/网络集了,仅今年就发表了三项有关这一主题的研究。dXkednc

我们将在以后的文章中讨论这些研究,本文的重点是理解为什么基准测试仍是一个难题。dXkednc

细节很重要

我们来执行一项学习或识别任务,然后比较其在不同实验系统上的表现。首先,必须选择一项能够在所有系统中执行的任务,尽管这些系统在设计之初可能并没有考虑到这一点。此外,必须考虑整个过程(从加载任务、运行任务到产生输出)以及每个步骤是否都得到了优化。dXkednc

如果没有优化(这是新技术的常见问题),则必须将测量指标进行细分,使之仅用于有关的系统,而非用于整个基础设施(支持这些系统所需)。dXkednc

硬件也可以用这样一种方式来构建,使其能产生适当的数据用于分析,包括不同阶段的性能或功耗。然而,情况往往并非如此。dXkednc

FLOPS(每秒浮点运算)能让事情变得容易,但目前还没有其它等效方法。工程师们尝试使用MAC(乘法累加运算),但MAC更适于深度学习,并不能反映神经拟态工程的复杂性。dXkednc

突触操作也不适用,因为完成任务的方式太多,可以使用的学习规则太多,编码方式太多,突触和神经元功能也太多。dXkednc

即使这些都不是问题,大家都知道,要使系统软件运行,必须对编译器进行量身定制,无一例外。否则,即使是最好的系统也会表现不佳。dXkednc

不良基准的危害

为了更好地理解,让我们看看神经拟态之外的其他技术。桑迪亚国家实验室的Robin Blume-Kohout对量子计算机的基准测试很感兴趣。在一次题为“Not All Benchmarks Are Created Equal”的演讲中,Blume-Kohout表示,对于任何处于早期开发阶段的技术,依赖其基准都是有难度的。dXkednc

他在2018 年的一份技术报告中强调了这一论点,“当今最先进的量子处理器如同处于婴儿阶段。用于成人的测试指标和基准(例如智商或SAT分数)显然不适用于婴儿;婴儿的任务只有一个,就是成长。dXkednc

“监控婴儿成长需要的技能和知识与评估成人所需的完全不同,”他继续说,“孩童与不成熟的技术一样,其成长与进步并非凭直觉能观察到,有时甚至还出现倒退(例如掉乳牙或进入青春期)。”dXkednc

与量子计算相比,神经拟态工程处于更先进的阶段,一些神经拟态系统已经投入实际应用,尽管大部分还是小规模的。但Blume-Kohout的观点对处于“青少年时期”的技术也是有效的。就像在学校,过度考试会让孩子擅长考试却不擅长独立学习,在形成阶段使用错误的基准会使神经拟态工程朝着错误的方向发展。dXkednc

在更早的一篇论文中,Blume-Kohout首先对不良基准测试的危险性提出了警告。dXkednc

阿贡国家实验室的Jack Dongarra在1980年代计算机行业迅速发展之初曾努力寻找评估计算机的最佳方法,他也补充说:“计算机的价值取决于其如何使用,而计算机的使用又因应用、工作负载和时间而异。”dXkednc

Dongarra还断言:“对一个场合有效的评估可能对另一个场合无效,而现在有效的评估可能在很短时间之后就不再有用。”dXkednc

于是就有了这样的警告:“尽管基准在性能评估中是必不可少的,但简单地应用它们可能会产生误导性结果。事实上,不当的基准测试可能比根本没有基准测试更糟糕。”他总结道。dXkednc

接下来,我将深入了解研究人员会尝试哪些方法来解决基准测试的难题。dXkednc

(原文刊登于EDN姐妹网站EETimes美国版,参考链接:Why Benchmarking Neuromorphic Computing is Hard,由Jenny Liao编译。)dXkednc

本文为《电子技术设计》2021年11月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里dXkednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 称可超越ChatGPT,微软推出新人工智能模型——Kosmos-1 微软推出了 Kosmos-1,据称它是一种多模式大型语言模型 (MLLM),不仅可以对语言提示做出反应,还可以对视觉线索做出反应,可用于一系列任务,包括图像说明、视觉问题回答等等。
  • MWC 2023落下帷幕,盘点国产厂商的那些亮眼表现 MWC 2023(世界移动通信大会2023)于2月27日在巴塞罗那正式向全球移动产业伙伴开启,大会也于3月2日正式落下帷幕。展会持续五天,根据官方数据统计,2023年MWC有2000多家全球厂商参展,中国有以OPPO、荣耀为代表的共计28个国产厂商参展。本次展会,各大厂商纷纷拿出自己的看家本领,可谓是亮点多多,今天就带大家一起看看展会上国产厂商展现的那些亮眼技术吧~
  • 维持ChatGPT运行将需要超过3万块Nvidia显卡 据TrendForce的最新预测,人工智能(AI)将成为Nvidia的最大收入来源之一。该研究公司估计,OpenAI的ChatGPT最终将需要超过3万块Nvidia显卡的算力以维持运行。
  • Win11端Phone Link添加新支持,iPhone能在PC端接打电话 3月1日,微软宣布,为Win11平台上的Phone Link应用程序添加对iPhone的支持。用户通过该应用程序连接PC和iPhone之后,可以在PC端拨打和接听电话、发送和接收短信、直接在PC上查看iPhone的通知。预览版要求Phone Link应用程序版本1.23012.169.0或更高版本。
  • 谷歌达成量子计算机第二里程碑,实现量子计算纠错 2月24日,谷歌CEO Sundar Pichai撰写博客,称公司量子计算又向前迈了一大步。谷歌量子AI团队有史以来首次通过实验证明:可以通过增加量子比特的数量来减少错误。在其最新的研究中,谷歌用49个物理量子比特制作的逻辑量子比特超越了用17个量子比特制作的逻辑量子比特。
  • NVIDIA:超级算力,赋能整车中央计算 由全球电子技术领域知名媒体集团AspenCore主办的“中国国际汽车电子高峰论坛”于2023年2月23日正式拉开帷幕。会上,NVIDIA中国区软件解决方案总监卓睿分享了题为“超级算力,赋能整车中央计算”的主题演讲。
  • 我国煤炭行业首个OTA无线射频实验室建成并投入使用 据中国煤炭科工集团官网消息,近日,煤炭行业首个“OTA无线射频实验室”在中国煤炭科工集团煤科院建成并投入应用。
  • 复旦团队发布国内首个类ChatGPT模型MOSS,与ChatGPT相比 复旦大学自然语言处理实验室邱锡鹏教授团队悄然发布了国内首个类ChatGPT模型MOSS(https://moss.fastnlp.top/),不仅一举刷出数个微博热搜话题,在知乎上更是直接冲上热榜,话题浏览进306万次。知乎匿名网友称已经拿到了内测资格,并实时更新了一波测试结果……
  • “IDM929”14nm工艺自研国产GPU芯片即将流片 2月14日消息,据智绘微电子官方消息,该公司自研国产GPU芯片“IDM929”已完成设计,即将进入流片阶段。
  • 国内首个类ChatGPT模型MOSS内测,中国版ChatGPT还差什么 2月20日,复旦大学自然语言处理实验室邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS(https://moss.fastnlp.top/),现已发布至公开平台,邀公众参与内测。
  • NOR Flash克服可穿戴设备设计挑战 为了持续改进下一代设备中的各种功能,可穿戴设备和耳戴式设备依赖于内存。内存是实现高级设备的关键设计因素...
  • 模拟计算重新定义边缘AI性能新境界 传统的数字计算扩展方法,即转向更先进的半导体工艺节点,显然已经达到物理极限(即摩尔定律已经失效),而不断攀升的制造成本则限制了只有少数几家最富有的公司才能使用该技术。下一代的人工智能处理亟需采用新的方法。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了