广告

百度升级其神经网络基准

2017-08-02 Rick Merritt 阅读:
百度更新了其用于神经网络的开源基准——DeepBench,增加了对推理工作的支持,并支持低精度数学运算。DeepBench提出了一个旨在优化芯片的目标,以帮助数据中心建立用于诸如图像和自然语言识别等任务的更大而更为精确的模型。

百度更新了其用于神经网络的开源基准——DeepBench,增加了对推理工作的支持,并支持低精度数学运算。DeepBench提出了一个旨在优化芯片的目标,以帮助数据中心建立用于诸如图像和自然语言识别等任务的更大而更为精确的模型。Fbyednc

这项工作表明,神经网络还处于早期阶段。到目前为止,运行去年9月发布的训练版规范的结果仅来自少数英特尔至强(Xeon)和Nvidia图形处理器。Fbyednc

这些芯片不久就应该能提供有关基于服务器的推理工作的新基准的测试结果。此外,对于运行在包括iPhone 6、iPhone 7和Raspberry Pi电路板在内的设备上的推理工作,百度即将发布相关结果。Fbyednc

在服务器上进行的推理具有更长延迟,但是可以使用比嵌入式设备(如智能手机和智能扬声器)更大的处理器和更多存储器。“我们试图避免得出大的结论,到目前为止,我们只是整理结果,”百度硅谷AI实验室的系统研究员Sharan Narang说。Fbyednc

目前还不清楚英特尔是否会提供推理结果,而且它仍然在进行其大规模并行Knights Mill(英特尔面向AI的下一代XeonPhi处理器)运行结果的研究。AMD表示支持该基准测试,但尚未发布在其新版Epyc x86和Radeon Instinct GPU上运行该测试基准的结果。Fbyednc

包括Corenami、Graphcore、Wave Computing和Nervana(被英特尔收购)在内的几家初创公司有计划涉足深度学习加速器。Fbyednc

“芯片制造商对此非常兴奋,并希望展示其结果,但我们不希望使用任何专有库,只能是开源库,所以这些事情需要付出很多努力。”Narang表示。“我们已经和Nervana、Graphcore及Wave进行了交流,他们都有有前途的方法,但是无一能用实际芯片跑一下。”Fbyednc

更新后的DeepBench支持面向推理的低精度浮点运算和稀疏运算,以提升性能。Fbyednc

“在深度学习中,模型大小和数据集大小有明显相关性,在任何应用中,它们越大,准确性就越高,因此我们希望构建尽可能大的模型。”Narang表示,“我们需要更大的处理器、更低精度的数学运算以及我们正研发的其他技术,来实现这一目标。”Fbyednc

该基准测量了芯片执行各种不同低层级任务(内核)的时间。它们包括针对不同矩阵大小的矩阵乘法器和具有不同种类滤波器的卷积。它还测量了LSTM(长短期记忆)、循环和门控循环单元运算。Fbyednc

“我们有一个非常详尽的内核列表来构成我们的需求。”Narang说,“针对这些大小进行优化的硬件对社区有用。”Fbyednc

“深度学习是一个积极变化的领域,有很多聪明人在处理不同的问题,我们还没有涵盖所有情况,所以研究人员应该贡献自己的内核。”Fbyednc

为了这项工作,DeepBench使用了大约十几种常用模型,如微软面向目标识别的ResNet。基准测试神经网络是一个非常复杂的问题,因为有太多的框架和模型,所以我们专注于较低层级的操作,而不是模型和框架。Fbyednc

向降低精度浮点数学的转移是此次更新中最大的变化之一。初始的基准测试使用32位单精度数学进行训练,但现在组合使用16位和32位计算。此举减少了GPU数量和所需内存量,且同时缩短了结果获取时间。Fbyednc

例如,Nvidia Volta V-100预计在几个月内可用,其单精度数学运算性能为20TFlops,但半精度为120TFlops。“二者差异很大——我们可能会使用不到现在GPU数量的一半。”Narang说。Fbyednc

同样,推理工作使用8位数学来表示权重和模型。“在服务器端,我们看到从32位单精度到降低的8位精度带来的巨大好处——这是个大胜利。”Fbyednc

DeepBench还支持使用稀疏神经网络进行推理,去掉了90-95%的权重以减少内存消耗。该方法提供了二十倍的数据压缩和更好的性能。Fbyednc

一些库希望最低减少99%的权重。Narang表示:百度正在与芯片制造商(如英特尔、Nvidia和ARM)合作,为这些内核打造底层线性代数。Fbyednc

《电子技术设计》2017年8月刊版权所有,转载请注明来源及链接。Fbyednc

20160630000123Fbyednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Rick Merritt
EE Times硅谷采访中心主任。Rick的工作地点位于圣何塞,他为EE Times撰写有关电子行业和工程专业的新闻和分析。 他关注Android,物联网,无线/网络和医疗设计行业。 他于1992年加入EE Times,担任香港记者,并担任EE Times和OEM Magazine的主编。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • 与马斯克星链计划的大个子不同,以色列研发纳米卫星可组 马斯克的星链计划计划发射12000颗卫星,虽然与国家级军用、导航等卫星相比要小,但是比起以色列的纳米卫星来说就是非常巨大了。最近,以色列“阿德利斯-萨姆森”项目计划在今年发射三颗纳米卫星。
  • 快速估算电容器的介电吸收 有几种方法可以用来估计或测量电容器的介电吸收值。经典的直接测量法定义准确但却非常耗时。本文所述的电路与其要求一致,但却可以将计时缩短到几秒钟。
  • 协作机器人市场将开启平台化大战 在工业4.0和智能制造的大潮下,经历了机器人市场的各种赛道追赶之后,中国和世界迎来了机器人市场广阔的前景。然而,在协作机器人方面,曾经一直都是优傲一枝独秀,不过,这一情况即将改变。在绝大部分技术均自主研发的加持下,国内机器人公司艾利特推出CS系列,瞄准了协作机器人平台化这条赛道。
  • 全球5G中高频器件竞争格局 在5G的产业链布局方面,我国的企业还主要处于产业链的中下游,而欧美企业处于产业链的上游居多,并集中在通信高端芯片等核心环节和关键环节,现在某些关键的器件尚无法找到除美国之外的供应商,在这些核心领域我们仍然被卡脖子。
  • 苹果不支持北斗?或是这个原因! 近日,随着北斗三号全球卫星导航系统正式开通,一个热门话题在网上发酵开来:苹果到底有没有用上北斗导航系统?这个问题看似简单,但背后却缺乏充分的证据,而导致众网友正反方各执一词,争论得喋喋不休。 今天,EDN就想综合性地分析下,苹果到底支不支持北斗?如果不支持的话,那背后的原因又到底是什么?
  • SiC实物评测:是否有传说的那么好?
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了