广告

用于端点AI加速的10大处理器

2020-05-21 Sally Ward-Foxton 阅读:
用于端点AI加速的10大处理器
人工智能和机器学习应用的加速是一个相对较新的领域,各种各样的处理器不断涌现,加速了几乎所有神经网络的处理工作。本文列出了目前市场上有代表性的10款AI加速处理器。

人工智能和机器学习应用的加速是一个相对较新的领域,各种各样的处理器不断涌现,加速了几乎所有神经网络的处理工作。无论是处理器巨头还是行业新贵,都在尽力提供差异化产品——或是针对不同的垂直市场、应用领域或功率预算,或是具有不同的价位。本文列出了目前市场上有代表性的10款AI加速处理器。NO3ednc

应用处理器 

英特尔Movidius Myriad X 

Myriad X由爱尔兰初创公司Movidius开发,该公司于2016年被英特尔收购。Myriad X是Movidius的第三代视觉处理单元,也是首款搭载专用神经网络计算引擎的处理器,可提供1TOPS的运算能力,专门用于深度神经网络(DNN)计算。神经网络计算引擎与高吞吐量智能存储器件直接连接,避免了数据传输时的任何存储瓶颈。Myriad X支持FP16和INT8计算,拥有一个内核群(包含16个专有SHAVE内核),以及升级扩展版的视觉加速器。NO3ednc

Myriad X可用于第二代英特尔神经计算棒(NCS2),NCS2实际上是外形跟U盘一样的评估平台。它可以插入任何工作站,使AI和计算机视觉应用能够快速启动并在专用的Movidius硬件上运行。NO3ednc

恩智浦半导体i.MX 8M Plus

i.MX 8M Plus是一款异构应用处理器,采用芯原的专用神经网络加速器IP(Vivante VIP8000)。它为消费者及工业物联网端点设备提供2.3TOPS的推理加速能力,足以完成多个物体的识别、40,000个单词的语音识别,甚至还可以对医学影像进行分类(MobileNet v1每秒对500个影像进行分类)。NO3ednc

NO3ednc

图1:恩智浦的i.MX 8M Plus是该公司首款搭载专用神经网络加速器的应用处理器,专为物联网应用而设计。(图片来源:恩智浦半导体)NO3ednc

除神经网络处理器以外,i.MX 8M Plus还搭载运行速度为2GHz的4核Arm Cortex-A53子系统,以及Cortex-M7实时子系统。针对视觉应用,它提供两个图像信号处理器,可以支持两个立体视觉高清相机或一个12MP相机。针对语音应用,它提供一个800MHz HiFi4音频数字信号处理器(DSP),可用于语音数据的预处理和后处理。NO3ednc

XMOS公司xcore.ai 

xcore.ai用于实现人工智能物联网(AIoT)应用中的语音控制。它是一种交叉处理器,兼具应用处理器的性能以及微控制器的低功耗与实时操作特性,用于语音信号的机器学习推理。NO3ednc

NO3ednc

图2:XMOS公司的xcore.ai采用专有架构,专为语音应用中的AI处理而设计。(图片来源:XMOS)NO3ednc

它采用XMOS专有的Xcore架构,包含的逻辑内核可用于I/O、DSP、控制功能或AI加速。每颗xcore.ai芯片上有16个这样的内核,设计人员可以根据需要选择为每种功能分配多少个内核。通过将不同功能映射到固件中的逻辑内核,可以创建一个“虚拟SoC”,这完全是通过软件实现的。XMOS还在Xcore中增加了向量管道功能,用于机器学习。NO3ednc

xcore.ai支持32位、16位、8位和1位(二进制)网络,可提供3200MIPS、51.2GMACC和1600MFLOPS的运算能力,同时拥有1MB嵌入式SRAM以及一个低功耗DDR扩展接口。NO3ednc

汽车SoC

德州仪器TDA4VM

TDA4VM是德州仪器首款搭载专用深度学习加速器的片上系统(SoC),是应用于汽车高级驾驶辅助系统(ADAS)的Jacinto 7系列的一部分。该模块采用C7×DSP及内部开发的矩阵乘法加速器(MMA),运算能力高达8TOPS。NO3ednc

NO3ednc

图3:德州仪器的TDA4VM用于复杂的ADAS,使车辆能够感知周围环境。(图片来源:德州仪器)NO3ednc

这款SoC可以处理来自一个8MP前置摄像头的视频流,或者处理来自4到6个3MP摄像头加上雷达、LiDAR和超声波传感器的组合数据。例如,在自动代客泊车系统中,其搭载的MMA可用于对这些输入数据进行传感器融合。NO3ednc

TDA4VM专为5W至20W的ADAS应用而设计。该产品目前处于预生产阶段,但已有可用的开发套件。NO3ednc

GPU

英伟达Jetson Nano

英伟达著名的Jetson Nano是一款外形小但功能强大的图形处理单元(GPU)模块,专门针对端点设备中的AI应用。该公司表示,与大多数Jetson系列产品(AGX Xavier和TX2)一样,Nano模块上的GPU采用Maxwell架构,有128个内核,运算能力达到0.5TFLOPS,足以处理多个高分辨率图像传感器的数据流并运行多个神经网络,功耗仅为5W。该模块还搭载了4核Arm Cortex-A57 CPU。NO3ednc

NO3ednc

图4:英伟达的Jetson Nano模块搭载具有128个内核的强大GPU,适合边缘AI应用。(图片来源:英伟达)NO3ednc

与英伟达其他产品一样,Jetson Nano也采用了英伟达的神经网络加速库CUDA X。价格便宜的Jetson Nano开发套件已经面市。NO3ednc

消费类协处理器

Kneron公司KL520

Kneron是台湾旅美科学家在美国成立的一家初创公司,首款产品为KL520神经网络处理器,专用于智能家居、安防系统和移动设备等应用中的图像处理和人脸识别。经过优化,它可以运行图像处理中常用的卷积神经网络(CNN)。NO3ednc

NO3ednc

图5:Kneron公司的KL520采用可重配架构和巧妙的压缩技术,在移动设备和消费类设备中完成图像处理。(图片来源:Kneron Inc.)NO3ednc

KL520运算能力达到0.3TOPS,功耗仅为0.5W(相当于0.6TOPS/W)。该公司称其芯片MAC效率超过90%,能够实现精确的人脸识别。芯片架构可重新配置,并针对不同的CNN模型量身定制。Kneron公司的辅助编译器采用压缩技术,能够在有限的芯片资源内运行更大的模型,从而节省了功耗和成本。KL520现已上市,制造商AAEON的加速卡中(M2AI-2280-520)便使用了这款处理器。NO3ednc

Gyrfalcon公司Lightspeeur 5801

Gyrfalcon公司的Lightspeeur 5801是为消费类电子产品市场而设计的,可提供2.8TOPS的运算能力,功耗为224mW(相当于12.6TOPS/W),延迟仅为4ms。Gyrfalcon采用了比其他架构更节能的“存储器内处理器(processor-in-memory)”技术,并且可以在50MHz和200MHz之间改变钟速度,从而相应地调节功耗。Lightspeeur 5801包含10MB存储器,因此整个模型都可装在芯片上。NO3ednc

Lightspeeur 5801是该公司生产的第四款芯片,已经用在LG的Q70中端智能手机中,用于相机效果的推理。5801 Plai Plug U盘开发套件现已上市。NO3ednc

超低功耗 

Eta Compute公司ECM3532

ECM3532是Eta Compute公司的第一款产品,在物联网电池供电或能量采集设备中用于AI加速。在图像处理和传感器融合等一直处于运行状态的应用中,其功耗可低至100µW。NO3ednc

该芯片搭载两款内核,Arm Cortex-M3微控制器内核和NXP CoolFlux DSP。它采用专有的电压和频率调节技术,可以调节每个时钟周期,以充分利用两个内核的每一瓦功率。两个内核的任何一个都可以执行机器学习(但一些语音处理由DSP来完成更好)。ECM3532样品已经推出,预计第二季度开始量产。NO3ednc

Syntiant公司NDP100

NDP100处理器由美国初创公司Syntiant设计,可对超低功耗应用中的语音命令进行机器学习推理。这款芯片采用存储器内处理器技术,仅消耗不到140µW的有功功率,可运行关键词发现、唤醒词检测、说话人识别或事件分类等模型。NO3ednc

NO3ednc

图6:Syntiant公司的NDP100适合超低功耗应用中的语音处理。(图片来源:SyntiantCorp.)NO3ednc

Syntiant公司称该产品将用于消费类电子设备的语音操作,例如耳塞式耳机、助听器、智能手表和遥控器。其开发套件已上市。NO3ednc

GreenWaves公司GAP9

GAP9是法国初创公司GreenWaves开发的第一款超低功耗应用处理器,它搭载由9个RISC-V内核组成的强大计算集群,其指令集经过高度定制可以最大程度降低功耗。它具有双向多通道音频接口和1.6MB内部RAM。NO3ednc

在电池供电的物联网设备中,可使用GAP9来完成图像、声音和振动检测等神经网络处理。根据GreenWaves数据显示,在GAP9运行MobileNet V1来处理分辨率为160×160的图像时,通道缩放值为0.25,用时仅12ms,功耗低至806μW/帧/秒。NO3ednc

(原文刊登于ASPENCORE旗下EETimes欧洲网站,参考链接:Top 10 Processors for AI Acceleration at the Endpoint。)NO3ednc

本文为《电子技术设计》2020年06月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里NO3ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 华为“天才少年”校招薪资曝光:西安交大100万,华科201万 去年,华为的“对八位2019届顶尖学生实行年薪制管理”登上了各大平台的热榜,网友大呼华为“大手笔”,现在,时隔一年,第二批“天才少年”入选者也曝光了。西交大本科毕业年薪100万,华科博士毕业年薪201万!
  • 面向智能交通基础设施的模块化边缘计算技术 专为边缘应用打造的系统要求具备高度灵活性。这需要可扩展的处理能力,而采用嵌入式计算机模块是最为高效的实现方式。从智慧城市LoRa网关到智能充电基础设施和视频监控服务器,三种实际应用均搭配可选AI技术,以展现这种模块化设置的优势。
  • AI芯片有哪些关键指标? 目前,各种促进深度学习算法有效处理的新架构和新技术不断推向市场。那评价一款AI芯片最关键的指标到底是什么?
  • 用领先的智能感知技术应对工业人工智能应用挑战 工业机器视觉、机器人、人工智能技术的发展正配合着政府的智能制造计划向前推进,图像传感器是其中的关键技术,其在工业中的应用很广……
  • 利用传感器和数据分析抗击COVID-19 在抗击COVID-19新冠疫情的战斗中,政府、医护人员及各个行业利用人工智能和各种热传感器,基于大数据进行分析和预测,将其对公共卫生和全球经济的冲击降至最低。
  • 如何在RPA中融入人工智能 RPA :机器人流程自动化, 在智能制造趋势的今天,RPA开始崭露头角。无论是软件还是工业,RPA都有着极高的价值。 阿里云就实现了RPA,阿里云RPA历经8年的内部验证,覆盖了阿里巴
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了