向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

百度升级其神经网络基准

时间:2017-08-02 作者:Rick Merritt 阅读:
百度更新了其用于神经网络的开源基准——DeepBench,增加了对推理工作的支持,并支持低精度数学运算。DeepBench提出了一个旨在优化芯片的目标,以帮助数据中心建立用于诸如图像和自然语言识别等任务的更大而更为精确的模型。

百度更新了其用于神经网络的开源基准——DeepBench,增加了对推理工作的支持,并支持低精度数学运算。DeepBench提出了一个旨在优化芯片的目标,以帮助数据中心建立用于诸如图像和自然语言识别等任务的更大而更为精确的模型。niKednc

这项工作表明,神经网络还处于早期阶段。到目前为止,运行去年9月发布的训练版规范的结果仅来自少数英特尔至强(Xeon)和Nvidia图形处理器。niKednc

这些芯片不久就应该能提供有关基于服务器的推理工作的新基准的测试结果。此外,对于运行在包括iPhone 6、iPhone 7和Raspberry Pi电路板在内的设备上的推理工作,百度即将发布相关结果。niKednc

在服务器上进行的推理具有更长延迟,但是可以使用比嵌入式设备(如智能手机和智能扬声器)更大的处理器和更多存储器。“我们试图避免得出大的结论,到目前为止,我们只是整理结果,”百度硅谷AI实验室的系统研究员Sharan Narang说。niKednc

目前还不清楚英特尔是否会提供推理结果,而且它仍然在进行其大规模并行Knights Mill(英特尔面向AI的下一代XeonPhi处理器)运行结果的研究。AMD表示支持该基准测试,但尚未发布在其新版Epyc x86和Radeon Instinct GPU上运行该测试基准的结果。niKednc

包括Corenami、Graphcore、Wave Computing和Nervana(被英特尔收购)在内的几家初创公司有计划涉足深度学习加速器。niKednc

“芯片制造商对此非常兴奋,并希望展示其结果,但我们不希望使用任何专有库,只能是开源库,所以这些事情需要付出很多努力。”Narang表示。“我们已经和Nervana、Graphcore及Wave进行了交流,他们都有有前途的方法,但是无一能用实际芯片跑一下。”niKednc

更新后的DeepBench支持面向推理的低精度浮点运算和稀疏运算,以提升性能。niKednc

“在深度学习中,模型大小和数据集大小有明显相关性,在任何应用中,它们越大,准确性就越高,因此我们希望构建尽可能大的模型。”Narang表示,“我们需要更大的处理器、更低精度的数学运算以及我们正研发的其他技术,来实现这一目标。”niKednc

该基准测量了芯片执行各种不同低层级任务(内核)的时间。它们包括针对不同矩阵大小的矩阵乘法器和具有不同种类滤波器的卷积。它还测量了LSTM(长短期记忆)、循环和门控循环单元运算。niKednc

“我们有一个非常详尽的内核列表来构成我们的需求。”Narang说,“针对这些大小进行优化的硬件对社区有用。”niKednc

“深度学习是一个积极变化的领域,有很多聪明人在处理不同的问题,我们还没有涵盖所有情况,所以研究人员应该贡献自己的内核。”niKednc

为了这项工作,DeepBench使用了大约十几种常用模型,如微软面向目标识别的ResNet。基准测试神经网络是一个非常复杂的问题,因为有太多的框架和模型,所以我们专注于较低层级的操作,而不是模型和框架。niKednc

向降低精度浮点数学的转移是此次更新中最大的变化之一。初始的基准测试使用32位单精度数学进行训练,但现在组合使用16位和32位计算。此举减少了GPU数量和所需内存量,且同时缩短了结果获取时间。niKednc

例如,Nvidia Volta V-100预计在几个月内可用,其单精度数学运算性能为20TFlops,但半精度为120TFlops。“二者差异很大——我们可能会使用不到现在GPU数量的一半。”Narang说。niKednc

同样,推理工作使用8位数学来表示权重和模型。“在服务器端,我们看到从32位单精度到降低的8位精度带来的巨大好处——这是个大胜利。”niKednc

DeepBench还支持使用稀疏神经网络进行推理,去掉了90-95%的权重以减少内存消耗。该方法提供了二十倍的数据压缩和更好的性能。niKednc

一些库希望最低减少99%的权重。Narang表示:百度正在与芯片制造商(如英特尔、Nvidia和ARM)合作,为这些内核打造底层线性代数。niKednc

《电子技术设计》2017年8月刊版权所有,转载请注明来源及链接。niKednc

20160630000123niKednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Rick Merritt
EE Times硅谷采访中心主任。Rick的工作地点位于圣何塞,他为EE Times撰写有关电子行业和工程专业的新闻和分析。 他关注Android,物联网,无线/网络和医疗设计行业。 他于1992年加入EE Times,担任香港记者,并担任EE Times和OEM Magazine的主编。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • 智能手机主宰了人们,但应该用它来控制汽车吗? 智能手机主宰了我们的生活和整个世界,目前可以用来远程锁门、锁车、开灯关灯以及控制窗帘开关,甚至还可以应门和监测心率。但是,消费级手机设计是否足够安全,是否可用来控制任务关键型系统?或者更直接地说,我们是否考虑清楚了承担使用消费类智能手机可能带来的所有潜在威胁和后果,例如远程召唤一辆车?
  • FTC对高通的垄断调查揭露出2G/3G/4G/5G专利收费的操作 苹果指控高通采取“no license — no chips”的手段威胁客户,借此收取高昂的专利授权费。美国联邦贸易委员会(FTC)对高通的垄断调查裁决将可能截断高通的专利收费财路。透过FTC的垄断庭审,高通的专利授权操作内幕被一一解开。
  • OLED向照明、汽车和可穿戴设备进军 有机LED(OLED)现在已经普遍用于电视和手机屏幕,但OLED有望成为固态照明技术的下一个亮点,而且也可能在其他应用领域找到用武之地。在许多应用中,无机LED仍然具有经济和技术价值。但OLED具有无机LED缺乏的一些有趣特性,而且新的生产技术有望降低OLED的制造成本,使得它跟无机LED一样具成本优势。
  • 解读华为智能家居生态 与小米终有一战 智能家居市场成最新掘金地,华为与小米将展开高手过招。
  • 消除便携式设备的充电烦恼 实施USB PD的一个挑战,是以更高的功率水平提供不同的输出电压,以满足人们迫切需要的快速充电,同时也不会最终用一个能效低、成本高和笨重的适配器。
  • 苹果最新产品:处理器全面升级 跟踪苹果公司的产品发布非常重要,原因有很多,其中最重要的是从中可以领悟到苹果所涉足的某个特定技术市场的整体健康状况。它们也是苹果供应商及其竞争对手未来财富的间接指标(要么竞争对手先于苹果采用新技术,要么跟随苹果)。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告