广告

用于端点AI加速的10大处理器

2020-05-21 14:32:49 Sally Ward-Foxton 阅读:
人工智能和机器学习应用的加速是一个相对较新的领域,各种各样的处理器不断涌现,加速了几乎所有神经网络的处理工作。本文列出了目前市场上有代表性的10款AI加速处理器。

人工智能和机器学习应用的加速是一个相对较新的领域,各种各样的处理器不断涌现,加速了几乎所有神经网络的处理工作。无论是处理器巨头还是行业新贵,都在尽力提供差异化产品——或是针对不同的垂直市场、应用领域或功率预算,或是具有不同的价位。本文列出了目前市场上有代表性的10款AI加速处理器。nwXednc

应用处理器 

英特尔Movidius Myriad X 

Myriad X由爱尔兰初创公司Movidius开发,该公司于2016年被英特尔收购。Myriad X是Movidius的第三代视觉处理单元,也是首款搭载专用神经网络计算引擎的处理器,可提供1TOPS的运算能力,专门用于深度神经网络(DNN)计算。神经网络计算引擎与高吞吐量智能存储器件直接连接,避免了数据传输时的任何存储瓶颈。Myriad X支持FP16和INT8计算,拥有一个内核群(包含16个专有SHAVE内核),以及升级扩展版的视觉加速器。nwXednc

Myriad X可用于第二代英特尔神经计算棒(NCS2),NCS2实际上是外形跟U盘一样的评估平台。它可以插入任何工作站,使AI和计算机视觉应用能够快速启动并在专用的Movidius硬件上运行。nwXednc

恩智浦半导体i.MX 8M Plus

i.MX 8M Plus是一款异构应用处理器,采用芯原的专用神经网络加速器IP(Vivante VIP8000)。它为消费者及工业物联网端点设备提供2.3TOPS的推理加速能力,足以完成多个物体的识别、40,000个单词的语音识别,甚至还可以对医学影像进行分类(MobileNet v1每秒对500个影像进行分类)。nwXednc

nwXednc

图1:恩智浦的i.MX 8M Plus是该公司首款搭载专用神经网络加速器的应用处理器,专为物联网应用而设计。(图片来源:恩智浦半导体)nwXednc

除神经网络处理器以外,i.MX 8M Plus还搭载运行速度为2GHz的4核Arm Cortex-A53子系统,以及Cortex-M7实时子系统。针对视觉应用,它提供两个图像信号处理器,可以支持两个立体视觉高清相机或一个12MP相机。针对语音应用,它提供一个800MHz HiFi4音频数字信号处理器(DSP),可用于语音数据的预处理和后处理。nwXednc

XMOS公司xcore.ai 

xcore.ai用于实现人工智能物联网(AIoT)应用中的语音控制。它是一种交叉处理器,兼具应用处理器的性能以及微控制器的低功耗与实时操作特性,用于语音信号的机器学习推理。nwXednc

nwXednc

图2:XMOS公司的xcore.ai采用专有架构,专为语音应用中的AI处理而设计。(图片来源:XMOS)nwXednc

它采用XMOS专有的Xcore架构,包含的逻辑内核可用于I/O、DSP、控制功能或AI加速。每颗xcore.ai芯片上有16个这样的内核,设计人员可以根据需要选择为每种功能分配多少个内核。通过将不同功能映射到固件中的逻辑内核,可以创建一个“虚拟SoC”,这完全是通过软件实现的。XMOS还在Xcore中增加了向量管道功能,用于机器学习。nwXednc

xcore.ai支持32位、16位、8位和1位(二进制)网络,可提供3200MIPS、51.2GMACC和1600MFLOPS的运算能力,同时拥有1MB嵌入式SRAM以及一个低功耗DDR扩展接口。nwXednc

汽车SoC

德州仪器TDA4VM

TDA4VM是德州仪器首款搭载专用深度学习加速器的片上系统(SoC),是应用于汽车高级驾驶辅助系统(ADAS)的Jacinto 7系列的一部分。该模块采用C7×DSP及内部开发的矩阵乘法加速器(MMA),运算能力高达8TOPS。nwXednc

nwXednc

图3:德州仪器的TDA4VM用于复杂的ADAS,使车辆能够感知周围环境。(图片来源:德州仪器)nwXednc

这款SoC可以处理来自一个8MP前置摄像头的视频流,或者处理来自4到6个3MP摄像头加上雷达、LiDAR和超声波传感器的组合数据。例如,在自动代客泊车系统中,其搭载的MMA可用于对这些输入数据进行传感器融合。nwXednc

TDA4VM专为5W至20W的ADAS应用而设计。该产品目前处于预生产阶段,但已有可用的开发套件。nwXednc

GPU

英伟达Jetson Nano

英伟达著名的Jetson Nano是一款外形小但功能强大的图形处理单元(GPU)模块,专门针对端点设备中的AI应用。该公司表示,与大多数Jetson系列产品(AGX Xavier和TX2)一样,Nano模块上的GPU采用Maxwell架构,有128个内核,运算能力达到0.5TFLOPS,足以处理多个高分辨率图像传感器的数据流并运行多个神经网络,功耗仅为5W。该模块还搭载了4核Arm Cortex-A57 CPU。nwXednc

nwXednc

图4:英伟达的Jetson Nano模块搭载具有128个内核的强大GPU,适合边缘AI应用。(图片来源:英伟达)nwXednc

与英伟达其他产品一样,Jetson Nano也采用了英伟达的神经网络加速库CUDA X。价格便宜的Jetson Nano开发套件已经面市。nwXednc

消费类协处理器

Kneron公司KL520

Kneron是台湾旅美科学家在美国成立的一家初创公司,首款产品为KL520神经网络处理器,专用于智能家居、安防系统和移动设备等应用中的图像处理和人脸识别。经过优化,它可以运行图像处理中常用的卷积神经网络(CNN)。nwXednc

nwXednc

图5:Kneron公司的KL520采用可重配架构和巧妙的压缩技术,在移动设备和消费类设备中完成图像处理。(图片来源:Kneron Inc.)nwXednc

KL520运算能力达到0.3TOPS,功耗仅为0.5W(相当于0.6TOPS/W)。该公司称其芯片MAC效率超过90%,能够实现精确的人脸识别。芯片架构可重新配置,并针对不同的CNN模型量身定制。Kneron公司的辅助编译器采用压缩技术,能够在有限的芯片资源内运行更大的模型,从而节省了功耗和成本。KL520现已上市,制造商AAEON的加速卡中(M2AI-2280-520)便使用了这款处理器。nwXednc

Gyrfalcon公司Lightspeeur 5801

Gyrfalcon公司的Lightspeeur 5801是为消费类电子产品市场而设计的,可提供2.8TOPS的运算能力,功耗为224mW(相当于12.6TOPS/W),延迟仅为4ms。Gyrfalcon采用了比其他架构更节能的“存储器内处理器(processor-in-memory)”技术,并且可以在50MHz和200MHz之间改变钟速度,从而相应地调节功耗。Lightspeeur 5801包含10MB存储器,因此整个模型都可装在芯片上。nwXednc

Lightspeeur 5801是该公司生产的第四款芯片,已经用在LG的Q70中端智能手机中,用于相机效果的推理。5801 Plai Plug U盘开发套件现已上市。nwXednc

超低功耗 

Eta Compute公司ECM3532

ECM3532是Eta Compute公司的第一款产品,在物联网电池供电或能量采集设备中用于AI加速。在图像处理和传感器融合等一直处于运行状态的应用中,其功耗可低至100µW。nwXednc

该芯片搭载两款内核,Arm Cortex-M3微控制器内核和NXP CoolFlux DSP。它采用专有的电压和频率调节技术,可以调节每个时钟周期,以充分利用两个内核的每一瓦功率。两个内核的任何一个都可以执行机器学习(但一些语音处理由DSP来完成更好)。ECM3532样品已经推出,预计第二季度开始量产。nwXednc

Syntiant公司NDP100

NDP100处理器由美国初创公司Syntiant设计,可对超低功耗应用中的语音命令进行机器学习推理。这款芯片采用存储器内处理器技术,仅消耗不到140µW的有功功率,可运行关键词发现、唤醒词检测、说话人识别或事件分类等模型。nwXednc

nwXednc

图6:Syntiant公司的NDP100适合超低功耗应用中的语音处理。(图片来源:SyntiantCorp.)nwXednc

Syntiant公司称该产品将用于消费类电子设备的语音操作,例如耳塞式耳机、助听器、智能手表和遥控器。其开发套件已上市。nwXednc

GreenWaves公司GAP9

GAP9是法国初创公司GreenWaves开发的第一款超低功耗应用处理器,它搭载由9个RISC-V内核组成的强大计算集群,其指令集经过高度定制可以最大程度降低功耗。它具有双向多通道音频接口和1.6MB内部RAM。nwXednc

在电池供电的物联网设备中,可使用GAP9来完成图像、声音和振动检测等神经网络处理。根据GreenWaves数据显示,在GAP9运行MobileNet V1来处理分辨率为160×160的图像时,通道缩放值为0.25,用时仅12ms,功耗低至806μW/帧/秒。nwXednc

(原文刊登于ASPENCORE旗下EETimes欧洲网站,参考链接:Top 10 Processors for AI Acceleration at the Endpoint。)nwXednc

本文为《电子技术设计》2020年06月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里nwXednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 为什么没有寒武纪?
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 因眼睛小车主被辅助驾驶误判“开车睡觉”,小鹏、蔚来回 昨日,汽车博主@常岩CY 发博称自己突然上了热搜,原来就是因自己眼睛小被小鹏汽车自动驾驶误判“开车睡觉”,不住的发出提醒。此外,@常岩CY 称在多款车型上都收到此困扰。无论是红外还是摄像头,只要开始检测眼睛,就会判定过度疲劳。小鹏P7会提示他睡觉,蔚来ET7一开车就认为其疲劳和走神,岚图FREE会在冬天为了让其“别困”而打开冷风……
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • “智能家居”未来将可通过呼吸控制操作 凯斯西储大学的研究人员创造了一个简单的原型设备,使用户能够通过改变他们的呼吸模式来控制“智能家居”。这种自供电装置可放入鼻孔,并有可能提高行动不便或无法清晰说话的人的生活质量。如果个人呼吸困难,它也可以编程为医务人员提供自动警报。
  • 核酸采样机器人将取代“大白”?用了哪些技术保证采样准 取棉签、核酸采样、储存核酸采样管、设备消杀……动作精准流畅,今后给你核酸采样的可能不再是“大白”,而是机器人。EDN小编就带大家来看看,目前已被使用的核酸采样机器人有哪些?
  • 一个AI程序就可将手机电池增加30% 一项尖端的人工智能开发可以将智能手机的电池寿命延长 30%。这项应用则是利用 AI 分析正在使用的应用程序的 FPS 变化,并试图找到 CPU 和 GPU 处理器的最佳运行频率以适应变化,同时消耗设备中最少的功率和温度增益……
  • AI视觉芯片如何赋能两轮车出行? 6月29日,在由全球领先的专业电子机构媒体AspenCore和深圳市新一代信息通信产业集群联合主办的“2022国际AIoT生态发展大会-智慧两轮车分论坛”中,嘉楠科技副总裁汤炜伟以《勘智AI视觉芯,赋能智眼两轮行》为主题,向大家分享了嘉楠地芯片设计创新历程,及其RISCV架构AI芯片技术路线图,并以具体案例展示AI视觉芯片如何赋能两轮车出行。
  • 碎片化、成本高是难题,AIoT行业需要哪些改变? 作为AIoT的行业基石,物联网市场到2022年预计将达到 144 亿活跃连接。随着供应限制的缓解和增长的进一步加速,IoT Analytics 最新预测指出,到2025年全球将有大约 270 亿台联网物联网设备。中国物联网链接到2025年也将达到80亿。随着整个AIoT和IoT市场的快速成长与变化,我们将面临哪些风险和挑战?
  • 英特尔张宇:边缘AI有三个阶段,我们还处在山脚 在AspenCore举办的“2022国际AIoT生态发展大会”上,英特尔公司高级首席工程师、物联网事业部中国区首席技术官张宇博士通过视频方式分享了“边缘AI技术发展趋势与展望”主题演讲。
  • 世界上尺寸最大的芯片Wafer Scale Engine-2打破了在单 Cerebras公司售价数百万美元的“全球最大AI芯片”Wafer Scale Engine-2又有新消息,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。
  • 婴儿或可帮助解锁下一代人工智能 都柏林圣三一学院的神经科学家及其同事刚刚发布了改进人工智能的新指导原则,他们表示,婴儿可以帮助解锁下一代人工智能(AI)。
  • 日本要利用机器学习实现半导体研究自动化 新型薄半导体材料的开发需要对大量反射高能电子衍射(RHEED)数据进行定量分析,既耗时又需要专业知识。为了解决这个问题,东京理科大学的科学家们确定了可以帮助自动化 RHEED 数据分析的机器学习技术。他们的发现可以极大地加速半导体研究,并为更快、更节能的电子设备铺平道路。
  • 纯视觉自动驾驶更安全?美国交通部发布数据打脸特斯拉 特斯拉的纯视觉自动驾驶到底效果如何?真的如马斯克所说的:“通过摄像头和计算机网络让自动驾驶比人类驾驶更安全”吗?近日美国国家公路交通安全管理局发布了一份新的数据,颇有打脸特斯拉的意味。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了