广告

AI算法的进步超越了摩尔定律

2018-10-03 Alexei Andreev和Jeff Peters,Autotech Ventures公司 阅读:
摩尔定律将继续改变世界,但算法的进步对推动电子技术的发展越来越重要。

现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?随着算法的进步超过硬件的发展,即使是最先进的深度学习模型都可以部署在小到5美元的Raspberry Pi上。NGjednc

在20世纪80年代的处理器上运行最先进的现代算法,和在最先进的处理器上运行20世纪80年代的算法,哪个算得更快?答案令人惊讶,通常都是在旧处理器上跑新算法更快些。NGjednc

虽然摩尔定律作为电子行业快速发展的驱动力而备受关注,但它只是一个驱动因素而已。我们经常忘记算法的进步其实在很多情况下超过了摩尔定律。NGjednc

Martin Groetschel教授观察到,在1988年需要花费82年才能解算的一个线性编程问题,在2003年只需要一分钟。其中硬件加速占1000倍,而算法进步占43,000倍。同样,麻省理工学院教授Dimitris Bertsimas的研究表明,1991年至2013年间,混合整数求解器的算法加速是58万倍,而峰值超级计算机的硬件加速仅增加了32万倍。据说,类似的结果也发生在其他类型的约束优化问题和素数因子分解中。NGjednc

这对AI意味着什么?

过去五年来,无论学术界、工业界还是创业界,都见证了人工智能(AI)的爆发。可能最大的拐点发生在2012年,当时来自多伦多大学的AlexNet团队,使用深度学习一举赢得了ImageNet大规模视觉识别挑战赛(ILSVRC)的冠军。从那以后,深度学习成为了人工智能实现的关键配方。NGjednc

计算机视觉的进步开始蔓延到自然语言处理和其他AI领域。智能音箱、实时计算机翻译、机器人对冲基金,以及网络参考引擎,不再让我们感到惊讶了。NGjednc

AI也成为了交通运输行业的驱动力(这也是Autotech Ventures公司的投资领域)。我们预见到,高级驾驶辅助系统(ADAS)、自动驾驶、车队检查、制造质量控制,以及车载人机界面等细分市场,具有巨大的发展潜力。到目前为止,Autotech Ventures已经对几家专注于开发该领域AI解决方案的初创公司进行了投资,包括ADAS和自动驾驶、视觉检测和边缘计算。在分析这些商业机会时,算法和硬件之间的相互作用是其投资决策中的一个关键考虑因素。NGjednc

公众对AI硬件的关注

基于深度学习的AI在其拐点之后出现了对图形处理单元(GPU)的强劲需求。由于具有很强的并行计算能力,GPU对于深度学习算法所采用的逻辑恰好具有惊人的运行效率。GPU的主要供应商英伟达(NVIDIA)从竞争中脱颖而出,其股价从2013年到2018年上涨了20倍。NGjednc

当然,英伟达的竞争对手正在努力追赶。高通、Arm和其他公司将注意力集中在了AI芯片的设计上,而英特尔则收购了AI芯片初创公司Nervana Systems。谷歌、Facebook、苹果和亚马逊都已纷纷为各自的数据中心及其他项目开发他们的AI处理器。也有一些初创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看到机会加入进来,试图搭建设计得更好的图灵机系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数芯片开发的目标是赶上或超过英伟达。然而,据我们所知,大多数处理器都是针对今天的AI算法而设计的。NGjednc

尽管需要巨大的前期开发成本,各种AI芯片设计的发展仍会进入寒武纪式的大爆炸。人工智能的前景是如此诱人,行业玩家愿意投入巨资开发硬件,以便与基础数学算法相匹配。但是,现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?NGjednc

考虑到算法演变的速度和幅度变化是如此之快,许多替代AI芯片设计可能还没有正式投放市场就已经过时了。我们推测明天的AI算法可能需要不同的计算架构、内存资源,以及数据传输能力等。NGjednc

尽管深度学习框架已经出现很长时间了,但直到最近才真正付诸实践,这要感谢摩尔定律所预测的硬件的快速发展。最初的数学不一定是为工程实践而设计的,因为早期的研究人员无法想象今天用1000美元就可以得到那么大的算力。现今的许多AI实现都是使用最初的数学模型,朝着更加准确、简单且更深层的方向发展,或者添加更多数据。这样做很快就会消耗掉GPU的计算容量。只有一小部分研究人员专注于改进基础数学和算法框架的难题。NGjednc

还是有很多机会认识并利用这些创新的的数学进步的。我们了解到的方法包括精简冗余的数学运算而减少计算时间,将卷积压缩到较小的矩阵而减少内存需求,或者对加权矩阵进行二值化而简化数学运算。这些是进入算法进步的第一次尝试,其发展之快已经开始超过硬件的进步。NGjednc

例如,从加州大学伯克利分校的研究项目剥离出来的DeepScale 就是将用于高级驾驶辅助系统(ADAS)和自动驾驶的AI“挤压”到汽车级芯片中(而不是GPU)。与仅使用算法的物体检测模型相比,他们的神经网络模型的运算速度要快30倍,同时在能耗和内存占用方面也有很大的提升,足以在现有硬件上运行。NGjednc

另一个算法跨越式进步的例子来自艾伦人工智能研究所(Allen Institute of Artificial Intelligence)的研究人员。他们使用一种采用神经网络二值化的新颖数学方法,已经证明可以大幅提高速度,同时降低功耗和内存要求。这样就可能让最先进的深度学习模型部署在售价仅5美元的Raspberry Pi上。其研究人员最近将这种算法和处理工具独立出来成立专门的公司XNOR.ai,以便在边缘设备上部署AI,并进一步推动AI算法的进步。NGjednc

有趣的是,新的二值化框架从根本上改变了最佳处理逻辑的类型。它们不再需要解决神经网络所需的32位浮点卷积,而只需要进行位计数操作——将功率平衡从GPU移开。此外,如果这些算法与专门设计的芯片相匹配,则可以进一步降低计算资源需求。NGjednc

算法的进步不会停止。有时需要数年甚至数十年才能发明(或者可能发现)新的算法。这些突破无法以与摩尔定律推动的计算进步所相同的方式来预测。它们本质上是非确定性的。但是当它们发生时,整个格局的变化往往会使现有的主导者变成脆弱的猎物。NGjednc

黑天鹅

Nassim Nicolas Taleb在他的畅销书《The Black Swan: The Impact of the Highly Improbable(黑天鹅:如何应对不可预知的未来)》中阐明说,最佳决策在很大程度上取决于分析过程是不可预测还是不确定。换句话说,我们是在处理“已知的未知数”还是“未知的未知数”?算法创新从根本上是未知的未知数。投注到这些发展上需要持续关注,因为它们具有不确定的发现时间和不可预测的影响。NGjednc

然而,在过去的二十年中,在应用数学领域,尤其是人工智能方面,出现了几个颠覆性的算法发现。它们与GPU一起,将AI从一个不起眼的研究领域带到了商业化的最前沿。NGjednc

我们认识到这些计算领域“黑天鹅”的潜力,它们将使现有芯片架构成为过去,或者一夜之间重新洗牌。对我们来说,这些黑天鹅可能会带来更为安全的自动驾驶汽车,以及许多其他未知的应用。NGjednc

- Alexei Andreev博士是Autotech Ventures投资公司的执行董事,Jeff Peters博士是公司首席研究员,Autotech Ventures是一家专注于交通相关技术的风险投资公司。(声明:DeepScale和XNOR.ai是Autotech Ventures投资的初创公司)NGjednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • Microchip模拟嵌入式SuperFlash技术助力存算一体创新 SuperFlash memBrain存储器解决方案使知存科技片上系统(SoC)能够满足最苛刻的神经处理成本、功耗和性能要求
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • “中国IC设计成就奖”提名产品简介:高性能GPU芯片及解 沐曦致力于提供国际顶尖的高性能通用GPU芯片及解决方案,结合我国人工智能等领域对GPU芯片的强烈市场需求,对标当前国际领先的GPU芯片产品立项开展技术研发。
  • “中国IC设计成就奖”提名产品简介:全志科技高性能智能 高性能三重异构智能语音应用处理器R329芯片,采用业界先进的半导体工艺,首款集成Arm中国周易语音处理器。集成DSP、NPU、64位CPU及丰富的外设接口,创新突破了低功耗、边缘语音AI超级算力、多重异构通讯、多核调度等关键技术,处于国内领先水平。
  • “中国IC设计成就奖”提名产品简介:追萤3D AI芯片Ai310 埃瓦科技自主研发的追萤 3D AI芯片创新的采用了异构架构 SOC 设计和微内核架构设计,包含 NPU 神经网络加速核、3D 立体匹配加速核、ISP 核等功能性处理核心;其中 NPU 神经网络加速核基于可重构以及片上多级存储和缓存设计,使数据可高效送达加速核心,使该芯片拥有领先的高效智能处理能力、分析以及低功耗管理的能力;其设计架构的资源复用性使硬件计算单位可灵活分配,适应于不同场景的计算需求;在 3D 视觉算法加速方面创新的采用了自研立体匹配算法的 3D 加速微内核架构设计,可有效加速双目立体视觉、结构光等多种 3D 视觉算法。
  • “中国IC设计成就奖”提名产品简介:ada200优势 1.九天睿芯,感存算一体芯片,可以在功耗和性能满足”低功耗AI场景“的同时,成本也大幅度下降。2.采用模数混合的存内计算架构,ADA200相比传统数字芯片,1/3成本,1/10功耗。
  • “中国IC设计成就奖”提名产品简介:面向边缘视觉分析的 面向边缘视觉分析的数据流AI芯片CAISA是鲲云科技自主研发的专为人工智能图像提供高性能计算加速的AI芯片产品,是全球首个量产的数据流AI芯片。
  • “中国IC设计成就奖”提名产品简介:人工智能语音芯片CI 1、人工神经网络硬件引擎架构:具备高计算性能,进行神经网络计算时相当于数十个CPU并行计算的能力;低访问带宽和低功耗,通过并行计算和共用神经元权重参数,大幅降低访问带宽及功耗;高可配置性,支持神经元层数和节点数、神经网络结构的配置。 2、单、双、及麦克风阵列降噪增强技术:支持各种平稳、非平稳环境噪声抑制;可支持线阵、圆阵结构等常用麦阵结构;采用定向波束形成与自适应信号处理技术相结合;拾取方向动态可调;支持单声道、立体声等回声抑制;采用独立研发的空间预测技术,支持强回声情况下回声抑制;与降噪处理技术相结合;自动增益调节、高通、带通滤波等。 3、低功耗和可靠性设计技术:具备低功耗集成电路设计技术,包括基于活动语音检测的低功耗控制技术和时钟门控技术。 4、逻辑设计技术:掌握了语音信号处理IP的设计方法,包括算法硬件化、定点、浮点运算处理等。同时积累了整套SoC设计所需的控制类IP,并成功通过流片验证。
  • “中国IC设计成就奖”提名产品简介:智能安防AI SoC芯片 亿智SV826是2021年推出的高性能的安防AI SoC芯片,主要面向视频编解码AI摄像机产品。
  • “中国IC设计成就奖”提名产品简介:低功耗视觉AIoT SoC 亿智SH516芯片是亿智电子2021年推出的一款低功耗的智能视觉AIoT SoC芯片。
  • “中国IC设计成就奖”提名产品简介:高性能大算力全场景 - AI性能跑分更强,超越Nvidia Orin - 应用当前先进的安全技术和研发流程 - 国内唯一可获得、支持快速量产的整车智能计算平台芯片
  • “中国IC设计成就奖”提名产品简介:高端AIoT芯片RV1126 RK3568是瑞芯微的高端AIoT芯片。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了