广告

AI加速器的“选择题”该怎么答?

2019-11-18 14:12:27 Sally Ward-Foxton,EE Times欧洲特派记者 阅读:
越来越多的公司开始将机器学习纳入其营运业务中,但随着AI生态系统扩展,他们开始面对如何为其业务决定最适用加速器的「选择题」…

首先,确定您是否真的需要。BtBednc

随着越来越多的公司开始采用机器学习作为其正常业务营运的一部份,无论一开始出于何种原因而投资于硬件的公司,如今正因为这一生态系统开始扩展而面对着如何在各种不同加速器之间作抉择的难题。BtBednc

在即将上市的各种不同芯片架构之间进行选择时,性能、功耗、灵活度、连接性以及总拥有成本(TCO)当然是判断的标准。除此之外,还有其他值得考虑的因素。BtBednc

BtBednc

Alexis Crowell (来源:Intel)BtBednc

不久前,我有机会针对这个主题采访了英特尔(Intel)人工智能(AI)产品营销资深总监Alexis Crowell。英特尔提供了具有完全不同架构的各种AI加速器产品(包括Movidius、Mobileye、Nervana、Loihi等,但当然不只这些,而且更不用提还CPU产品了)。Crowell很开心地强调,还有一些较不明显的评判标准在选择AI加速器时也应该加以考虑。BtBednc

你真的需要AI加速器吗?

事实上,一个最不明显但应该是最直接的问题是:您的应用真的需要最新的AI加速器ASIC吗?BtBednc

Crowell说:「这是一个十分普遍的问题,特别是因为AI如此流行。许多公司真的想做AI,但大多数并不是真的了解它的意义,也不知道要从哪里开始。」BtBednc

英特尔从指导客户完成整个流程的经验中发现,除了数据中心超大规模业者(hyperscaler)和大型云端服务供货商之外,大部份的客户还没有为AI加速做好准备。大多数的业者都还需要花费大量的时间才能使其数据就绪。BtBednc

她说:「如果您只想试着整理资料,那就无需投资于昂贵的加速器硬件,只是为了清理数据。我们与客户的许多对话主要都在于弄清楚他们在这一过程中的位置。」BtBednc

Crowell还说,有些数据中心客户可能也有大量可用的备用CPU周期——在此情况下,为什么还要另外花钱呢?BtBednc

软件堆叠够成熟吗?

每一种新芯片架构都需要以某种方式进行编程。尽管目前不会有人在缺少相应工具链的情况下发布新芯片,但是这些软件堆叠的成熟度是需要考虑的因素之一。BtBednc

Crowell说:「当所有的新创公司一下子涌进这一市场时,真正有趣的是:用于AI的软件堆叠十分困难。英特尔拥有25年编写和软件开发工作经验,目前还有数百人在为所有的产品组合执行软件作业。我认为,将其整合于人们已在使用中的架构、编译程序堆叠或任何看起来类似的东西中,对于在进行硬件决策时的理解非常重要。」BtBednc

Intel-Movidius Myriad-XBtBednc

英特尔的Movidius Myriad X视觉处理单元(VPU)瞄准了无人机、机器人和智慧相机(来源:Intel)BtBednc

是否考虑过安全性?

Crowell说:「当今的安全性(security)比以往任何时候都更重要。」他并强调数据的安全性和业务模式的稳定性也同样重要。BtBednc

她说:「数据本身就应该加入更多的安全性,才能确保它确实是您所期待的数据池或真正的数据量。但是在进行训练之前,如何确保数据安全,从而确定您不至于取得错误的输入?[你怎么知道]会不会有人一直在编造数据的子集,导致其开始影响结果?」BtBednc

模型的安全性同样重要。一旦在野外(在终端装置中)部署了模型,就需要保护其免于受到攻击者的尝试骇入、更改模型权重以操纵结果,或者即使只是窃取您的IP (也就是您的模型啊!)。BtBednc

她说:「我们正为推论建构一款芯片,为其内建了RAS [可靠性、可用性和可维护性]功能,专门用于解决此问题。由于我们将安全性和AI视为重要基础,因此不可能先打造了解决方案,之后再为了增加安全性而加以改造。您必须从一开始就这样做。」BtBednc

芯片是否经过基准检验?

适用于AI加速器的基准检验仍处于早期发展阶段。英特尔是向MLPerf以及百度(Baidu) DeepBench提交结果的少数几家公司之一。尽管Crowell强调,英特尔希望客户能够在不同产品之间进行公平的比较,而基准检验正是一个很好的起点,不过她对于当今基准检验经常使用的模型表感到有些失望。BtBednc

Intel Nervana Neural Network ProcessorBtBednc

英特尔的Nervana神经网络处理器提供了训练和推论版本(来源:Intel)BtBednc

她说:「如今,ResNet和MobileNet是一种入门级的拓扑,无法反映人们在现实世界中实际上如何使用AI。但我认为这是尝试让所有人看法一致的良好基础,因为有了AI就有很多的[变量]¬¬——批次大小、延迟需求、准确性要求等等...您必须从某个地方开始。而从ResNet和MobileNet开始并不表示我们无法成长为更现代、更巨大且更贴近实际情况的模型。」BtBednc

Crowell提到的最后一点是,应该将基准视为未来更广泛发展的一部份,并能将在此讨论的所有问题都纳入考虑。BtBednc

她说:「我一直提醒客户不要以基准为其整体决策的判断标准。因为还必须考虑到其他的许多因素¬¬——就像生活中发生的所有大小事,这是十分微妙的。」BtBednc

(原文发表于ASPENCORE旗下EDN姐妹媒体EETimes,参考链接:How to Choose Between AI Accelerators,编译:Susan Hong)BtBednc

 BtBednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 因眼睛小车主被辅助驾驶误判“开车睡觉”,小鹏、蔚来回 昨日,汽车博主@常岩CY 发博称自己突然上了热搜,原来就是因自己眼睛小被小鹏汽车自动驾驶误判“开车睡觉”,不住的发出提醒。此外,@常岩CY 称在多款车型上都收到此困扰。无论是红外还是摄像头,只要开始检测眼睛,就会判定过度疲劳。小鹏P7会提示他睡觉,蔚来ET7一开车就认为其疲劳和走神,岚图FREE会在冬天为了让其“别困”而打开冷风……
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • “智能家居”未来将可通过呼吸控制操作 凯斯西储大学的研究人员创造了一个简单的原型设备,使用户能够通过改变他们的呼吸模式来控制“智能家居”。这种自供电装置可放入鼻孔,并有可能提高行动不便或无法清晰说话的人的生活质量。如果个人呼吸困难,它也可以编程为医务人员提供自动警报。
  • 核酸采样机器人将取代“大白”?用了哪些技术保证采样准 取棉签、核酸采样、储存核酸采样管、设备消杀……动作精准流畅,今后给你核酸采样的可能不再是“大白”,而是机器人。EDN小编就带大家来看看,目前已被使用的核酸采样机器人有哪些?
  • AI视觉芯片如何赋能两轮车出行? 6月29日,在由全球领先的专业电子机构媒体AspenCore和深圳市新一代信息通信产业集群联合主办的“2022国际AIoT生态发展大会-智慧两轮车分论坛”中,嘉楠科技副总裁汤炜伟以《勘智AI视觉芯,赋能智眼两轮行》为主题,向大家分享了嘉楠地芯片设计创新历程,及其RISCV架构AI芯片技术路线图,并以具体案例展示AI视觉芯片如何赋能两轮车出行。
  • 碎片化、成本高是难题,AIoT行业需要哪些改变? 作为AIoT的行业基石,物联网市场到2022年预计将达到 144 亿活跃连接。随着供应限制的缓解和增长的进一步加速,IoT Analytics 最新预测指出,到2025年全球将有大约 270 亿台联网物联网设备。中国物联网链接到2025年也将达到80亿。随着整个AIoT和IoT市场的快速成长与变化,我们将面临哪些风险和挑战?
  • 英特尔张宇:边缘AI有三个阶段,我们还处在山脚 在AspenCore举办的“2022国际AIoT生态发展大会”上,英特尔公司高级首席工程师、物联网事业部中国区首席技术官张宇博士通过视频方式分享了“边缘AI技术发展趋势与展望”主题演讲。
  • 世界上尺寸最大的芯片Wafer Scale Engine-2打破了在单 Cerebras公司售价数百万美元的“全球最大AI芯片”Wafer Scale Engine-2又有新消息,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。
  • 婴儿或可帮助解锁下一代人工智能 都柏林圣三一学院的神经科学家及其同事刚刚发布了改进人工智能的新指导原则,他们表示,婴儿可以帮助解锁下一代人工智能(AI)。
  • 纯视觉自动驾驶更安全?美国交通部发布数据打脸特斯拉 特斯拉的纯视觉自动驾驶到底效果如何?真的如马斯克所说的:“通过摄像头和计算机网络让自动驾驶比人类驾驶更安全”吗?近日美国国家公路交通安全管理局发布了一份新的数据,颇有打脸特斯拉的意味。
  • 每秒可对近20亿张图像进行处理分类的“超级芯片” 在测试过程中,该团队制作了一个尺寸为 9.3 mm 2(0.01 in 2)的芯片,并将其用于对一系列类似于字母的手写字符进行分类。在对相关数据集进行训练后,该芯片能够对包含两种字符集的图像进行分类,准确率达到 93.8%,对四种类型的图像进行分类准确率为 89.8%。
  • 人工智能的创新发明,专利权属于谁? 随着人工智能技术的发展进步,近几年出现了许多涉及人工智能的发明,如2020 年,机器学习算法帮助研究人员开发了一种对多种病原体有效的抗生素(参见Nature),此外,人工智能 (AI) 也被用于帮助疫苗开发、药物设计、材料发现、空间技术和船舶设计。那么这些由人工智能发明的技术,专利到底归属于谁呢?
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了