广告

AI加速器的“选择题”该怎么答?

2019-11-18 Sally Ward-Foxton,EE Times欧洲特派记者 阅读:
AI加速器的“选择题”该怎么答?
越来越多的公司开始将机器学习纳入其营运业务中,但随着AI生态系统扩展,他们开始面对如何为其业务决定最适用加速器的「选择题」…

首先,确定您是否真的需要。PSDednc

随着越来越多的公司开始采用机器学习作为其正常业务营运的一部份,无论一开始出于何种原因而投资于硬件的公司,如今正因为这一生态系统开始扩展而面对着如何在各种不同加速器之间作抉择的难题。PSDednc

在即将上市的各种不同芯片架构之间进行选择时,性能、功耗、灵活度、连接性以及总拥有成本(TCO)当然是判断的标准。除此之外,还有其他值得考虑的因素。PSDednc

PSDednc

Alexis Crowell (来源:Intel)PSDednc

不久前,我有机会针对这个主题采访了英特尔(Intel)人工智能(AI)产品营销资深总监Alexis Crowell。英特尔提供了具有完全不同架构的各种AI加速器产品(包括Movidius、Mobileye、Nervana、Loihi等,但当然不只这些,而且更不用提还CPU产品了)。Crowell很开心地强调,还有一些较不明显的评判标准在选择AI加速器时也应该加以考虑。PSDednc

你真的需要AI加速器吗?

事实上,一个最不明显但应该是最直接的问题是:您的应用真的需要最新的AI加速器ASIC吗?PSDednc

Crowell说:「这是一个十分普遍的问题,特别是因为AI如此流行。许多公司真的想做AI,但大多数并不是真的了解它的意义,也不知道要从哪里开始。」PSDednc

英特尔从指导客户完成整个流程的经验中发现,除了数据中心超大规模业者(hyperscaler)和大型云端服务供货商之外,大部份的客户还没有为AI加速做好准备。大多数的业者都还需要花费大量的时间才能使其数据就绪。PSDednc

她说:「如果您只想试着整理资料,那就无需投资于昂贵的加速器硬件,只是为了清理数据。我们与客户的许多对话主要都在于弄清楚他们在这一过程中的位置。」PSDednc

Crowell还说,有些数据中心客户可能也有大量可用的备用CPU周期——在此情况下,为什么还要另外花钱呢?PSDednc

软件堆叠够成熟吗?

每一种新芯片架构都需要以某种方式进行编程。尽管目前不会有人在缺少相应工具链的情况下发布新芯片,但是这些软件堆叠的成熟度是需要考虑的因素之一。PSDednc

Crowell说:「当所有的新创公司一下子涌进这一市场时,真正有趣的是:用于AI的软件堆叠十分困难。英特尔拥有25年编写和软件开发工作经验,目前还有数百人在为所有的产品组合执行软件作业。我认为,将其整合于人们已在使用中的架构、编译程序堆叠或任何看起来类似的东西中,对于在进行硬件决策时的理解非常重要。」PSDednc

Intel-Movidius Myriad-XPSDednc

英特尔的Movidius Myriad X视觉处理单元(VPU)瞄准了无人机、机器人和智慧相机(来源:Intel)PSDednc

是否考虑过安全性?

Crowell说:「当今的安全性(security)比以往任何时候都更重要。」他并强调数据的安全性和业务模式的稳定性也同样重要。PSDednc

她说:「数据本身就应该加入更多的安全性,才能确保它确实是您所期待的数据池或真正的数据量。但是在进行训练之前,如何确保数据安全,从而确定您不至于取得错误的输入?[你怎么知道]会不会有人一直在编造数据的子集,导致其开始影响结果?」PSDednc

模型的安全性同样重要。一旦在野外(在终端装置中)部署了模型,就需要保护其免于受到攻击者的尝试骇入、更改模型权重以操纵结果,或者即使只是窃取您的IP (也就是您的模型啊!)。PSDednc

她说:「我们正为推论建构一款芯片,为其内建了RAS [可靠性、可用性和可维护性]功能,专门用于解决此问题。由于我们将安全性和AI视为重要基础,因此不可能先打造了解决方案,之后再为了增加安全性而加以改造。您必须从一开始就这样做。」PSDednc

芯片是否经过基准检验?

适用于AI加速器的基准检验仍处于早期发展阶段。英特尔是向MLPerf以及百度(Baidu) DeepBench提交结果的少数几家公司之一。尽管Crowell强调,英特尔希望客户能够在不同产品之间进行公平的比较,而基准检验正是一个很好的起点,不过她对于当今基准检验经常使用的模型表感到有些失望。PSDednc

Intel Nervana Neural Network ProcessorPSDednc

英特尔的Nervana神经网络处理器提供了训练和推论版本(来源:Intel)PSDednc

她说:「如今,ResNet和MobileNet是一种入门级的拓扑,无法反映人们在现实世界中实际上如何使用AI。但我认为这是尝试让所有人看法一致的良好基础,因为有了AI就有很多的[变量]¬¬——批次大小、延迟需求、准确性要求等等...您必须从某个地方开始。而从ResNet和MobileNet开始并不表示我们无法成长为更现代、更巨大且更贴近实际情况的模型。」PSDednc

Crowell提到的最后一点是,应该将基准视为未来更广泛发展的一部份,并能将在此讨论的所有问题都纳入考虑。PSDednc

她说:「我一直提醒客户不要以基准为其整体决策的判断标准。因为还必须考虑到其他的许多因素¬¬——就像生活中发生的所有大小事,这是十分微妙的。」PSDednc

(原文发表于ASPENCORE旗下EDN姐妹媒体EETimes,参考链接:How to Choose Between AI Accelerators,编译:Susan Hong)PSDednc

 PSDednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 华为“天才少年”校招薪资曝光:西安交大100万,华科201万 去年,华为的“对八位2019届顶尖学生实行年薪制管理”登上了各大平台的热榜,网友大呼华为“大手笔”,现在,时隔一年,第二批“天才少年”入选者也曝光了。西交大本科毕业年薪100万,华科博士毕业年薪201万!
  • 面向智能交通基础设施的模块化边缘计算技术 专为边缘应用打造的系统要求具备高度灵活性。这需要可扩展的处理能力,而采用嵌入式计算机模块是最为高效的实现方式。从智慧城市LoRa网关到智能充电基础设施和视频监控服务器,三种实际应用均搭配可选AI技术,以展现这种模块化设置的优势。
  • AI芯片有哪些关键指标? 目前,各种促进深度学习算法有效处理的新架构和新技术不断推向市场。那评价一款AI芯片最关键的指标到底是什么?
  • 用领先的智能感知技术应对工业人工智能应用挑战 工业机器视觉、机器人、人工智能技术的发展正配合着政府的智能制造计划向前推进,图像传感器是其中的关键技术,其在工业中的应用很广……
  • 利用传感器和数据分析抗击COVID-19 在抗击COVID-19新冠疫情的战斗中,政府、医护人员及各个行业利用人工智能和各种热传感器,基于大数据进行分析和预测,将其对公共卫生和全球经济的冲击降至最低。
  • 如何在RPA中融入人工智能 RPA :机器人流程自动化, 在智能制造趋势的今天,RPA开始崭露头角。无论是软件还是工业,RPA都有着极高的价值。 阿里云就实现了RPA,阿里云RPA历经8年的内部验证,覆盖了阿里巴
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了