广告

类脑计算将在新概念框架下加速

2020-10-15 Nature 阅读:
基于大脑建模的硬件可能会革新计算,但是在这样的系统上实现算法是一个挑战。清华大学张悠慧团队提出的新概念框架可以简化实施,从而加速该领域的研究。

下一代高性能,低功耗计算机系统可能受到大脑的启发。但是,随着设计人员从传统的计算机技术转向类脑(神经形态)系统,他们还必须从支撑常规机器的既定形式层次结构过渡,即抽象框架广泛定义了数字技术如何处理软件。计算机并转换为在计算机硬件上运行的操作。这种层次结构帮助实现了计算机性能的快速增长。45eednc

45eednc

清华大学张悠慧团队定义了一个新的层次结构,该层次结构将算法的要求及其在一系列神经形态系统上的实现形式化,从而为研究的结构化方法奠定了基础,在该结构化方法中,可以分别设计用于大脑启发型计算机的算法和硬件。45eednc

根据摩尔定律,过去50年来,常规数字计算机的性能有所提高,该定律指出,技术进步将使集成电路(微芯片)大约每18-24个月将其资源翻一番。但是,尽管这些进步使硬件变得更加强大,但它们也给寻求优化在这些不断变化的设备上执行的算法性能的系统架构师带来了挑战。45eednc

允许从新设备(芯片,内存等)获得最佳性能的常规计算机设计的一个重要特征是,软件和硬件开发之间没有紧密的联系。通过设置对硬件的最低要求,将用高级语言编写的软件程序转换成任何机器所需的精确等效的指令序列(称为编译过程)变得可行(如下图1)。支持在此编译过程中使用代表基本计算操作的指令的计算机被称为图灵完整的。因此,软件代码通常只编写一次,然后可以在多种具有图灵完整功能的处理器体系结构上进行编译和执行,以产生等效的结果。45eednc

45eednc

图1 在计算机硬件上实现算法的层次结构。 45eednc

a,计算机层次结构广泛地定义了现代数字计算机如何处理软件。用高级计算机语言编写的算法被分解为基本的计算操作,以产生软件的中间表示。这些操作将转换为硬件的完全等效的中间表示形式-一组指令,然后在硬件上运行。因此,软件可以与硬件分开开发。但是,尚未为神经形态计算机(使用人工神经元网络作为其计算基础的计算机)定义类似的层次结构。45eednc

b现在,我们为神经形态计算机提出了一个类似的层次结构,其中硬件的中间表示仅是软件中间表示的近似值,克服了在神经形态系统中生成精确表示的困难。这种层次结构将允许神经形态计算机的硬件和软件分别开发,而不是像现在这样针对每个应用程序共同开发。45eednc

但是,众所周知的是,以摩尔定律为特征的进步时代即将结束:数字计算机功能的发展速度似乎正在放缓。此外,数字计算可能会非常耗能,从而促使人们寻找替代方案。长期以来,科学家对大脑的计算能力着迷,大脑不仅具有惊人的能源效率,而且由于其神经元和突触的结构而具有独特的信息处理性能。这启发了神经形态计算领域,该领域的研究以大脑中神经网络的体系结构为下一代计算机的基础45eednc

神经形态计算的焦点通常集中在尖峰神经网络上,即相互连接的人工神经元系统,其中每个神经元的激活水平达到阈值时,都会表现出短暂的“尖峰”活动这样的系统比现代深度学习应用中通常使用的人工神经网络更类似于生物神经网络。神经形态硬件已经以多种形式生产,包括数字和模拟。然而,大多数系统共享共同的设计原理,例如存储器和处理器45eednc

开发神经形态硬件应用程序的研究人员面临的挑战是,目前尚不存在诸如图灵完整性之类的形式层次结构。取而代之的是,每个新芯片体系结构都需要一个自定义软件工具链(一组编程工具),以定义算法并通过将它们映射到唯一的硬件上来执行它们。这使得难以比较执行相同算法的不同神经形态系统的性能,并且要求研究人员了解算法和硬件的所有方面,以获得潜在的类似于大脑的性能。45eednc

现在,通过提出一个称为神经形态完备性的概念,找到了一个突破性的解决方案,其目标是将算法和硬件开发解耦,以达到图灵完备性的目的。在对传统计算机层次结构的一种放宽中,作者提出,如果一个类脑系统能够以给定的精度执行一组给定的基本操作,那么它就是神经形态完整的系统(图1)。45eednc

这与图灵完整性产生了偏差,在图灵完整性中,仅当系统为给定的一组基本操作提供准确且等效的结果时,才可以将系统定义为完整。45eednc

拟议的神经形态完整框架中的基本运算包括两个已知的加权和运算和逐元素整流线性运算,这使硬件系统能够同时支持尖峰和非尖峰人工神经网络。作者演示了他们的大脑启发式计算层次结构如何为将给定算法转换为适合一系列神经形态完整设备的形式提供了一种机制。45eednc

新层次结构的一个受欢迎的特征是提出了一个完整的连续性-可以接受不同级别的算法性能,具体取决于神经形态系统执行基本操作的准确性。完整性的连续性意味着可以使用整个可用的模拟和数字神经形态系统(包括那些牺牲执行速度或能源效率的准确性的系统)来实现新的层次结构。45eednc

完整性的连续性还允许算法的不同实现在相同的硬件上运行,例如,探索如何在算法精度与芯片尺寸之间进行权衡以降低功耗。作者在执行三个任务的算法(“驾驶”一辆无人自行车,模拟鸟群的运动并执行称为QR分解的线性代数分析)中证明了他们的方法的这一方面。每个任务都使用三个典型的神经形态完整硬件平台执行:作者自己的神经形态芯片传统计算机中使用的图形处理单元(GPU);还有一个基于称为忆阻器的设备的平台,可以加速神经网络的执行。45eednc

提出的层次结构是本领域的一个受欢迎的步骤,因为它可以比较实现相同算法的等效版本的不同硬件平台,以及比较在相同硬件上实现的不同算法。这些都是对神经形态架构进行有效基准测试的关键任务。在其原理验证实验中包括传统的图灵完整硬件(GPU)也是非常有价值的,因为这表明该层次结构可以潜在地用于证明在某些应用中神经形态设备优于主流系统的神经形态设备。45eednc

所提议的层次结构的另一个实质性好处是其将算法和硬件开发划分为独立研究流的潜力。如果要获得潜在的神经形态学架构的好处,算法的规模和复杂性将随着时间的推移而增加,因此这种分裂将有助于研究人员专注于研究问题的特定方面,而不是试图从头至尾地寻找整个问题。端解决方案。这可能会导致更好地理解问题,并在将来将其应用于性能更高的神经形态系统的设计中。45eednc

要使许多工业和学术研究小组在神经形态计算领域所做的工作团结起来,还有许多工作要做。作者Zhang和同事提出的层次结构是朝这个方向迈出的有用的一步。实际的大脑(生物学上的“硬件”)本身是否具有神经形态,还有待观察,但是作者的方法仍然使我们更接近使用类脑的硬件所能获得的巨大益处。45eednc

 45eednc

自然杂志早在2020年1月24日就收到了清华大学张悠慧团队提出的类脑新架构论文,该论文在8月10日通过,10月14日发表。45eednc

编译自:自然杂志 Nature 586, 364-366 (2020)45eednc

参考:45eednc

1.Zhang, Y. et al. Nature 586, 378–384 (2020). (清华大学张悠慧团队)45eednc

论文:https://www.nature.com/articles/s41586-020-2782-y45eednc

2.Roy, K., Jaiswal, A. & Panda, P. Nature 575, 607–617 (2019).45eednc

3.Gerstner, W., Kistler, W. M., Naud, R. & Paninski, L. Neuronal Dynamics: From Single Neurons to Networks and Models of Cognition (Cambridge Univ. Press, 2014).45eednc

4.Pei, J. et al. Nature 572, 106–111 (2019).45eednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 微软会不会基于Linux内核重构Windows? 最近,关于微软会不会基于Linux内核重构Windows的问题出现了两种完全不同的观点,开源软件爱好者 Eric S Raymond 认为微软应该重构,而有些人持反对观点,那么微软到底会不会基于Linux重构Windows呢?
  • ARM版Mac电脑何时正式推出,价格是涨是跌? 最近,苹果宣布将在未来的Mac电脑中采用ARM芯片,那么,我们何时才能体验到正式的ARM版Mac,价格是涨还是跌?
  • 44年后的唐山大地震余震,是怎么预报的? 昨天(7月12日),河北唐山发生了里氏5.1级地震,电视上我们成功的提前得到了此次地震的预警,虽然时间很短,但对于很难预测的地震来说已经很难得。我们来看看地震是怎样预警预测的,专家又是怎么解读这是唐山大地震44年后的余震的。
  • 实现超低功耗、高性价比语音交互应用的音频方案 音频/语音用户接口(VUI)是未来人机交互的一个重要的新兴趋势,将越来越多地用于智能家居控制、楼宇自动化、智能零售、联接的汽车、医疗等物联网垂直领域,这涉及语音触发、识别、处理技术,同时设计人员还面临如何提高能效的挑战。
  • 再获新能源汽车大厂订单,富士通原厂+代理身份完美布局 过去十年,随着新能源汽车与自动驾驶的兴起,汽车产业70%的创新来源于汽车电子技术及其产品的开发应用。IC Insights数据显示,预计2018年汽车电子的销售额将增长7.0%,2019年将增长6.3%,成为六大半导体目标市场中两年来的最高增长率。
  • Alexa,能听见我吗?探讨不断发展的低功耗语音接口技术 语音识别并不像你想象的那样新。业界已对其进行了约60年的研究,有成功也有失败。现在云处理和大数据已能实现好得多的语音识别和控制。本文最后还将介绍一些关于汽车GPS导航系统双向音频的有趣的新概念。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了