广告

AI加速器的“选择题”该怎么答?

2019-11-18 Sally Ward-Foxton,EE Times欧洲特派记者 阅读:
AI加速器的“选择题”该怎么答?
越来越多的公司开始将机器学习纳入其营运业务中,但随着AI生态系统扩展,他们开始面对如何为其业务决定最适用加速器的「选择题」…

首先,确定您是否真的需要。tmzednc

随着越来越多的公司开始采用机器学习作为其正常业务营运的一部份,无论一开始出于何种原因而投资于硬件的公司,如今正因为这一生态系统开始扩展而面对着如何在各种不同加速器之间作抉择的难题。tmzednc

在即将上市的各种不同芯片架构之间进行选择时,性能、功耗、灵活度、连接性以及总拥有成本(TCO)当然是判断的标准。除此之外,还有其他值得考虑的因素。tmzednc

tmzednc

Alexis Crowell (来源:Intel)tmzednc

不久前,我有机会针对这个主题采访了英特尔(Intel)人工智能(AI)产品营销资深总监Alexis Crowell。英特尔提供了具有完全不同架构的各种AI加速器产品(包括Movidius、Mobileye、Nervana、Loihi等,但当然不只这些,而且更不用提还CPU产品了)。Crowell很开心地强调,还有一些较不明显的评判标准在选择AI加速器时也应该加以考虑。tmzednc

你真的需要AI加速器吗?

事实上,一个最不明显但应该是最直接的问题是:您的应用真的需要最新的AI加速器ASIC吗?tmzednc

Crowell说:「这是一个十分普遍的问题,特别是因为AI如此流行。许多公司真的想做AI,但大多数并不是真的了解它的意义,也不知道要从哪里开始。」tmzednc

英特尔从指导客户完成整个流程的经验中发现,除了数据中心超大规模业者(hyperscaler)和大型云端服务供货商之外,大部份的客户还没有为AI加速做好准备。大多数的业者都还需要花费大量的时间才能使其数据就绪。tmzednc

她说:「如果您只想试着整理资料,那就无需投资于昂贵的加速器硬件,只是为了清理数据。我们与客户的许多对话主要都在于弄清楚他们在这一过程中的位置。」tmzednc

Crowell还说,有些数据中心客户可能也有大量可用的备用CPU周期——在此情况下,为什么还要另外花钱呢?tmzednc

软件堆叠够成熟吗?

每一种新芯片架构都需要以某种方式进行编程。尽管目前不会有人在缺少相应工具链的情况下发布新芯片,但是这些软件堆叠的成熟度是需要考虑的因素之一。tmzednc

Crowell说:「当所有的新创公司一下子涌进这一市场时,真正有趣的是:用于AI的软件堆叠十分困难。英特尔拥有25年编写和软件开发工作经验,目前还有数百人在为所有的产品组合执行软件作业。我认为,将其整合于人们已在使用中的架构、编译程序堆叠或任何看起来类似的东西中,对于在进行硬件决策时的理解非常重要。」tmzednc

Intel-Movidius Myriad-Xtmzednc

英特尔的Movidius Myriad X视觉处理单元(VPU)瞄准了无人机、机器人和智慧相机(来源:Intel)tmzednc

是否考虑过安全性?

Crowell说:「当今的安全性(security)比以往任何时候都更重要。」他并强调数据的安全性和业务模式的稳定性也同样重要。tmzednc

她说:「数据本身就应该加入更多的安全性,才能确保它确实是您所期待的数据池或真正的数据量。但是在进行训练之前,如何确保数据安全,从而确定您不至于取得错误的输入?[你怎么知道]会不会有人一直在编造数据的子集,导致其开始影响结果?」tmzednc

模型的安全性同样重要。一旦在野外(在终端装置中)部署了模型,就需要保护其免于受到攻击者的尝试骇入、更改模型权重以操纵结果,或者即使只是窃取您的IP (也就是您的模型啊!)。tmzednc

她说:「我们正为推论建构一款芯片,为其内建了RAS [可靠性、可用性和可维护性]功能,专门用于解决此问题。由于我们将安全性和AI视为重要基础,因此不可能先打造了解决方案,之后再为了增加安全性而加以改造。您必须从一开始就这样做。」tmzednc

芯片是否经过基准检验?

适用于AI加速器的基准检验仍处于早期发展阶段。英特尔是向MLPerf以及百度(Baidu) DeepBench提交结果的少数几家公司之一。尽管Crowell强调,英特尔希望客户能够在不同产品之间进行公平的比较,而基准检验正是一个很好的起点,不过她对于当今基准检验经常使用的模型表感到有些失望。tmzednc

Intel Nervana Neural Network Processortmzednc

英特尔的Nervana神经网络处理器提供了训练和推论版本(来源:Intel)tmzednc

她说:「如今,ResNet和MobileNet是一种入门级的拓扑,无法反映人们在现实世界中实际上如何使用AI。但我认为这是尝试让所有人看法一致的良好基础,因为有了AI就有很多的[变量]¬¬——批次大小、延迟需求、准确性要求等等...您必须从某个地方开始。而从ResNet和MobileNet开始并不表示我们无法成长为更现代、更巨大且更贴近实际情况的模型。」tmzednc

Crowell提到的最后一点是,应该将基准视为未来更广泛发展的一部份,并能将在此讨论的所有问题都纳入考虑。tmzednc

她说:「我一直提醒客户不要以基准为其整体决策的判断标准。因为还必须考虑到其他的许多因素¬¬——就像生活中发生的所有大小事,这是十分微妙的。」tmzednc

(原文发表于ASPENCORE旗下EDN姐妹媒体EETimes,参考链接:How to Choose Between AI Accelerators,编译:Susan Hong)tmzednc

 tmzednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 达摩院发布最大中文预训练语言模型PLUG,35天烧128张GPU 阿里达摩院今日发布了集语言理解(NLU)和生成(NLG)能力于一身的超大规模语言模型PLUG,跟GPT-3的单向建模方式不同的是,它采用了编码器-解码器(encoder-decoder)的双向建模方式,它刷新 CLUE 分类榜单纪录,排名仅次于“人类”
  • 中国工程院高文院士:“超算中心”与“云脑”都不能少 “9个月42亿人民币做出这台设备,这在任何地方想都不要想。”高文院士指出。 而且,鹏程云脑Ⅱ完全采用华为架构,用了华为的鲲鹏920和昇腾910机器做出来的,其中910是用了4096颗,鲲鹏920是用了2048颗,实际上已经到了1024p浮点算力,在很多性能方面超越同期国际上比较好的GPU运算速度。
  • 英伟达要抢英特尔最赚钱领域:首推数据中心CPU,Arm架构性 在400亿美元收购Arm的6个月后,NVIDIA连发三款基于Arm IP打造的处理器,包括全球首款专为TB级加速计算而设计的CPU NVIDIA Grace、全新BlueField-3 DPU,以及业界首款1000TOPS算力的自动驾驶汽车SoC。此外,还公布了与亚马逊AWS、Ampere Computing、联发科和Marvell等基于Arm的CPU平台的合作伙伴关系。
  • 生物仿真硅耳蜗实现神经拟态技术关键词捕捉 苏黎世神经科学研究所开发的动态音频传感器的核心是一个生物仿真硅耳蜗,仿真耳朵中毛细胞的功能。由硅耳蜗产生的事件串流可用于语音端点检测(关键词识别的第一阶段),类耳蜗图可以由神经网络读入并解码其含义。关键词捕捉是目前各种神经拟态技术的一个重要目标。
  • 中科院深圳:智能成型装备工业互联网的研发与应用实践 在ASPENCORE举办的“深圳国际工业4.0技术与应用峰会”上,中国科学院深圳先进技术研究院副研究员、深圳市海外高水平引进人才杨之乐博士分享了“智能成型装备工业互联网的研发与应用实践”主题演讲。
  • 卡奥斯:工业互联网背景下的AIoT应用 在ASPENCORE举办的“深圳国际工业4.0技术与应用峰会”上,海尔卡奥斯创智物联技术总监慕永琛分享了“工业互联网背景下的AIoT应用”主题演讲。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了