广告

莱迪思sensAI 4.1工具和IP将低功耗FPGA变为网络边缘智能AI/ML计算引擎

2021-11-24 16:39:42 莱迪思 阅读:
网络边缘设备的爆发式增长推动着新应用的开发,这些应用可以将大量原始数据转化为有用的、可操作的信息,便于实时决策。莱迪思sensAI 4.1解决方案集合提供即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制设计服务,将网络边缘设备和应用快速推向市场。

引言

毫无疑问,你已经读过或听说过,由于网络边缘设备数量激增,产生了不断增长的巨量数据流,这些设备包括自动驾驶汽车、物联网设备、消费电子产品,甚至是笔记本电脑和个人电脑。根据多项估算,截至2025年,运行的物联网设备将达到数百亿个。这些设备以连续数据流的形式向云端发送各种形式的数据,数据速率也千差万别。总体来说,这些设备将生成大量原始数据,且数据量随着时间的推移不断增加。RD6ednc

安全摄像头、自动驾驶汽车和PC中的视频录像机会生成高码率、高分辨率的视频流。物联网设备则生成中等码率的数据,汇聚到大数据流中。多种其他类型的物联网传感器(测量温度、压力、位置、光照水平等)会生成低码率数据流,但很快此类传感器的数量将会达到数十亿。因此,即使是这些低码率数据流也可以在进入云端之前汇聚成更大的、高码率的数据流。RD6ednc

5G无线网络和其他高速网络技术的兴起,包括微微基站(Picocell)、长距离物联网网络(如LoRaWAN)以及全球联网卫星网络(如SpaceX不断扩展的星链宽带网络和Swarm Technologies基于卫星的物联网网络),提供了广泛而快速的云端访问(注:星链于2021年8月收购了Swarm Technologies)。这些通信和网络技术加速了新兴的网络边缘计算设备和应用的发展。RD6ednc

新兴的网络边缘设备和应用包括自动驾驶汽车、机器人、自动化生产、远程监控、供应链和物流系统,以及保障公共和私人安全的视频监控。市场对这些网络边缘系统的需求极速增长,因为它们可以提高效率、降低运营成本并改善用户体验。但无论我们建设多少无线和有线通信基础设施,超量数据的骇浪都可能压垮或者堵塞这些通向云端的数据管道。RD6ednc

网络边缘本地化处理有助于疏通数据管道

这些趋势表明如今需要尽量在网络边缘数据产生的地方进行更多的处理,减少传输到云端的数据量。物联网和其他网络连接设备的爆发式增长是推动新的网络边缘设备开发的主要动力,这也进一步刺激了新应用的开发,从而将原始数据转换为有用的、可操作的信息,支持快速决策,实时应对不断变化的情形。RD6ednc

在网络边缘计算发展的早期阶段,公司主要关注将数据远距离传输到数据中心的成本问题。最初,网络边缘应用的一大特征是需要访问存储在云端和连接到云的其他计算机中的数据。这些早期应用通常不是实时应用;数百毫秒甚至数秒的响应时间都是可以接受的。然而,物联网设备的发展以及对网络边缘实时处理、分析和响应的需求不断增长,推动了网络边缘技术强有力的发展,同时也伴随着更大的设计挑战。RD6ednc

网络边缘处理使得计算和数据存储越来越靠近收集数据的设备端,而不是在数千里之外的数据中心进行分析和决策。网络边缘的实时应用通常不容许高延迟,因此处理、分析和决策必须转移到设备本身。这些网络边缘设备包括自动驾驶汽车、物联网传感器、安全摄像头、智能手机、笔记本电脑和个人电脑等。因此网络边缘计算的潜力巨大。RD6ednc

数据重压之下,云端无法包揽一切

智能手机和物联网设备的指数级增长推动了网络边缘计算的发展,这些设备无处不在,必须连接到互联网才能向云端发送信息或从云端接收信息。一些物联网设备(例如摄像机)在运行过程中会生成大量数据。RD6ednc

其他物联网设备,如温度传感器,会生成少量数据,但由于这样的传感器数量可达数十亿,为云端处理带来了极大的负担。因此,基于网络边缘的处理十分必要,不仅可以降低云端的网络通信成本和云存储成本,还能避免云端数据通道过载。RD6ednc

网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式,以帮助分析数据并据此做出决策。事实上,AI/ML技术的使用增长极其迅猛。RD6ednc

如今AI/ML算法被视为高效处理原始数据的必要手段,因为它们可以识别出传统的算法程序难以解析和识别的复杂、多维度的数据模式。一些特定的AI/ML应用包括检测、识别、辨认和计数人员或物体;资产和存货追踪、环境感知、声音和语音检测和识别、系统健康监测以及系统维护调度等。RD6ednc

RD6ednc

图1. 网络边缘计算的趋势(图片来源:莱迪思)RD6ednc

许多可以利用AI/ML功能的网络边缘应用需要在极具严苛的功耗限制下运行。这些广泛分布的设备通常依靠电池供电。此类应用在各种网络边缘环境中比比皆是,包括工厂、农场、办公楼、零售店、医院、仓库、街道和住宅。随着它们数量的增加,这些设备需要在仅充一次电或者仅依靠收集和存储能量的情况下运行较长时间,甚至可能是几个月或几年。RD6ednc

因此,许多设备需要在大部分时间里处于睡眠或休眠状态,在设备处于非活动状态时大部分电路应处于低功耗待机模式。然后激活事件会在需要时启动设备。在此类应用中,以超低功耗运行的基础电路系统必须保持待命,等待激活事件,然后根据需要为设备的其余部分供电。RD6ednc

FPGA以低功耗实现AL/ML

对低运行功耗和AI/ML算法实现的需求似乎与低功耗网络边缘设备设计的要求相互冲突。然而,这两种复杂的设计要求其实并不矛盾。莱迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——专为满足低功耗网络边缘设备的诸多设计要求而定制。这些FPGA可以支持多个传感器、显示器,支持高分辨率视频、网络连接和网络边缘AI/ML处理。RD6ednc

与此同时,莱迪思最新发布的sensAI解决方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务,有助于设计团队开发新的网络边缘设备,并将其快速推向市场。最新版本的sensAI支持CertusPro-NX FPGA。RD6ednc

莱迪思sensAI解决方案集合可加速端到端的AI/ML模型训练、验证和编译。莱迪思在2021年初发布的sensAI 4.0中新增了sensAI Studio设计环境,这是一种基于图形用户界面(GUI)的工具,可帮助开发人员快速构建机器学习应用。在使用莱迪思sensAI 4.1中的工具设置网络边缘计算设计,并且采用莱迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA时,可以在超低功耗下实现实时的AI/ML功能——功耗低至1mW到1W。RD6ednc

RD6ednc

图 2. 莱迪思sensAI Studio设计环境加速端到端的AI/ML模型训练、验证和编译。(图片来源:莱迪思)RD6ednc

随着sensAI 4.1支持莱迪思CertusPro-NX FPGA系列产品,sensAI的性能也有了较大提升,除了已有的对象检测和追踪应用之外,还新增了对多个对象实时分类等应用。sensAI 4.1解决方案集合包括更新的神经网络编译器,还兼容其他广泛使用的机器学习平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。RD6ednc

莱迪思sensAI 4.1解决方案集合中的IP核包括三种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus和CNN Compact——以及一个CNN协处理器引擎。CNN IP核能让开发人员使用其他人发布的广泛使用的各类CNN,例如Mobilenet v1/v2、Resent、SSD和VGG,或者根据需要自定义CNN模型。sensAI 4.1 CNN加速器利用莱迪思FPGA的并行处理能力、分布式存储器和DSP资源,极大简化了超低功耗AI设计的实现。加速器核利用FPGA的可编程逻辑来实现低功耗神经网络,包括极其高效的二值神经网络(BNN),能够以毫瓦级超低功耗实现CNN。RD6ednc

RD6ednc

3莱迪思sensAI解决方案集合可开发基于莱迪思FPGAAI/ML设备。(图片来源:莱迪思RD6ednc

莱迪思sensAI 4.1参考设计

莱迪思FPGA提供可编程I/O,经配置可支持传感器接口常用的多种电气接口标准。公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势,因此莱迪思sensAI 4.1的设计旨在简化网络边缘设备中基于多个传感器的AI/ML推理功能的开发,实现智能的传感器融合。sensAI 4.1解决方案集合包括许多参考设计示例,演示了多种智能传感器融合的应用案例,它们可以同时运行,实现深入的情景感知。这些参考设计包括:RD6ednc

  • 手势检测

该参考设计使用IR图像传感器,实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。RD6ednc

  • 关键词检测

该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架(例如Caffe、Tensorflow或Keras)更新提供的训练数据集,为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。RD6ednc

  • 人脸检测

该参考设计使用图像传感器实现基于CNN的人脸识别,并且可以通过修改训练数据库来识别其他类型的目标。RD6ednc

  • 人员侦测

该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架(例如Caffe或Tensorflow)更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。RD6ednc

  • 目标检测、分类、追踪和计数

该参考设计提供了目标检测、分类、追踪和计数的示例,拥有完整的设计,包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。RD6ednc

可以使用AI的常见和潜在的网络边缘应用

使用AI/ML算法提高众多网络边缘设备(例如自主机器人、环境控制和视频安全摄像头)的性能具有明显优势,而其他类型的网络边缘设备也可以从中受益,例如PC和笔记本电脑。莱迪思正与合作伙伴和客户合作,利用多模式、智能传感器融合和AI/ML技术,不断提升PC/笔记本电脑用户的体验,并显著降低笔记本电脑的运行功耗,在某些应用中,电池使用时间最多提高了28%。RD6ednc

哪些设备特性能发挥出潜在的价值呢?

PC和笔记本电脑在24小时内的使用情况差异很大,一般在白天工作时间集中使用。然而,即使是在工作时间,它们也会有休息状态。人们会偶尔休息,中午也会用餐,这些时间他们通常会让计算机保持运行状态,确保他们打开的各种应用不被关闭。RD6ednc

将AI/ML分析和决策与计算机现有的传感器(摄像头和麦克风)相结合,实现智能传感器融合,能让PC或笔记本电脑感知周围环境,从而决定何时关闭显示器和CPU,以及何时应该给它们重新供电。RD6ednc

存在检测最简单的用途是在周围无人时关闭计算机。当用户长时间远离屏幕时,注意力追踪功能可以调暗计算机屏幕并激活低功耗模式。充当智能传感器中心的低功耗、小尺寸FPGA可以接收来自计算机传感器的输入,然后根据情况决定为哪些组件供电。RD6ednc

解决隐私和安全问题

同样,这些功能也可以增强计算机的隐私和安全性。计算机的内置会议摄像头可用于监控用户身后的背景,检测是否有人从用户的肩膀后面窥视。如果计算机被配置为保护隐私,当授权用户背后有人疑似在偷窥计算机屏幕时,它可以弹出警告提醒用户甚至自动调暗屏幕。需要注意的是,使用这些解决方案,所有推理数据都保存在FPGA本地。仅将元数据传递给SoC,这进一步增强了隐私并提高了安全性。RD6ednc

优化用户体验

AI/ML功能还可以增强计算机用户的总体体验。例如,基于AI/ML的面部取景功能可以利用内置视频会议摄像头的较高分辨率来裁剪和居中用户的头像,为视频会议提供较好的画面。与会者还可以在会议期间移动的同时,他们的图像依然保持居中。同样,手势识别可以为笔记本电脑或PC或任何其他支持视频的物联网设备添加非接触式操作功能。RD6ednc

健康方面的益处

许多公司现在明确表示要保障员工的健康,基于AI/ML的感知功能可以通过弹出提醒和其他措施帮助避免重复性压力损伤,并利用计算机的视频传感器确保员工实际上采纳了给出的休息建议。RD6ednc

AI/ML应用还可用于检测用户的姿势,这可能是造成重复性压力损伤的另一个因素。这些利用传感器主动反馈的特性可以用来开发健康应用,这明显优于目前企业中所使用的简单的定时提醒,能够有效应对压力相关的工伤。RD6ednc

所有这些通过AI/ML实现的功能都可以帮助供应商打造出对企业买家更具吸引力的PC和笔记本电脑,并且所有这些功能都可以通过sensAI 4.1解决方案集合和莱迪思低功耗FPGA的特性来实现。RD6ednc

这种FPGA的使用方式超越了长期以来FPGA开发的标志性功能——传感器连接和融合,并且基于成熟的AI/ML算法,新增了传感器信号分析和决策制定功能。AI/ML的加入使得FPGA成为低功耗系统控制器,可管理系统功能、增强用户体验并通过降低整体系统运行功耗大幅延长电池寿命。RD6ednc

结论:数十亿网络边缘设备的庞大市场有待开发

凭借其多个低功耗FPGA系列产品和支持这些产品系列的sensAI 4.1解决方案集合,莱迪思致力于为数十亿计的网络边缘设备带来AI/ML 技术。因此,网络边缘应用是一个极具潜力的目标市场。RD6ednc

根据多方面的估算,全球广泛的地域需要数百亿个网络边缘设备来满足大量网络边缘市场的需求,这对于FPGA 业务来说非常具有吸引力——当然这种规模对于任何行业来说都是如此。莱迪思发布sensAI 4.1解决方案集合及其低功耗、小尺寸FPGA系列,则是直接瞄准了网络边缘应用和市场。莱迪思的sensAI 4.1解决方案集合是一种网络边缘应用的创新开发工具,系统开发人员可以借此为各种市场开发灵活、针对特定应用、基于FPGA的AI/ML推理解决方案。RD6ednc

版权所有 © 2021 TIRIAS Research。TIRIAS Research保留本文的所有权利。未经TIRIAS Research事先书面明确许可,禁止转载全文或部分内容。本文包含的信息在撰写时被视为真实可靠的,但不保证其准确性或完整性。产品和公司名称可能是其各自所有者的商标(™)或注册商标(®)。本文内容系对统计数据和信息的解释和分析,这些数据和信息或已全面公开,或由可靠的机构或个人发布。RD6ednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 苹果新款Apple Watch Series 8新增内置传感器,可监测体 据最新报道称,由于新的内置传感器,即将推出的Apple Watch Series 8将能够告诉佩戴者是否体温高于正常水平。
  • 小米12s系列发布:首款徕卡品牌、1 英寸摄像头传感器、 继一加牵手哈苏(HASSELBLAD)以及 Vivo 牵手蔡司之后,小米和徕卡在今年早些时候也宣布建立合作伙伴关系。小米在六月底宣布,小米 12S 系列将成为该交易的第一批手机,就在昨日,小米举办了小米12S系列新品发布会,包括小米12S、小米12S Pro、小米12S Ultra三款手机,这三款手机均提供徕卡 Summicron 镜头以减少眩光并提高透光率,同时还提供徕卡成像配置文件。
  • 手动拆解十万元的比亚迪“元”,附详细拆解图 大家是不是对手机、电脑等小型消费电子的拆解已经习以为常了?这次有个券商搞了个大动作,动手拆了一辆市场价值十万元的比亚迪“元”,还撰写了一份详细的拆解报告,刷屏了券商、汽车等行业,网友们也大呼“硬核”。
  • 莱迪思半导体CEO Jim Anderson:“与优秀的人一起工作 我父亲一直是我的导师。他是一名高中理科老师,后来成了校长。在我的成长过程中,他一直都会给我我所需要的建议——并不总是我所想要的,而是我所需要的建议。他给我最好的建议是要我和我后来娶的那个女孩约会。我们结婚已经超过25年了。对于任何重大的个人决定,我仍然会征求他的意见。
  • 苹果iPhone 14的最新爆料:关于摄像头、处理器、基带、 选用的将是夏普和LG Innotek供应iPhone14的前置摄像头,也有其它渠道消息显示两家制造商的供应比例是相同的。
  • AMD 推出了基于其 Kria FPGA 模块的机器人入门套 AMD 推出了基于其 Kria FPGA 模块的机器人入门套件,售价 349 美元,交付周期为 20 周。这是 Kria 自适应系统模块(SOM)和开发套件组合的最新产品。
  • 赛灵思强劲的AI引擎能为AMD带来哪些新发展? AMD收购赛灵思的目的在于将其差异化IP集成到公司未来旗下的CPU中,Xilinx无论是从丰富的计算引擎还是其AI引擎技术都能让AMD在服务器CPU市场上扩大影响力
  • 为何10BASE-T1S是汽车通信中缺失的以太网链路 新的IEEE汽车以太网标准不断涌现,10BASE-T1S以太网是最新标准之一。本文讨论汽车行业的发展趋势,它们反映了汽车电子/电气(E/E)架构的变化,以及新10BASE-T1S标准如何支持和推动这种新架构的部署。
  • 工程师如何打造专属居家办公室? 2021年11月初,当我提笔写这篇文章时,掐指一算,自己在家工作的岁月将近25个年头了。诸如‘Zoom’等视频会议如今已是常态,说不定摄影机也都得处于常开状态。除了我那只丑陋的马克杯和自己单调的表达方式之外,接下来分享我所学到的:如何影音双管齐下地在在线展现自我……
  • 售价超25万美元,苹果第一批Apple-1电脑主板长什么样? 一台罕见的苹果 Apple-1 电脑近日正在被拍卖,据外媒报道,目前这台电脑的出价已超过 25 万美元(约 167.25 万元人民币)。这台待售的 Apple-1 的注册号为 7,并带有乔布斯手写的序列号。
  • 麻省理工用更简单的方法教机器人学习新技能 随着电商的蓬勃发展,自动化仓库机器人市场也迎来了爆发,也进一步提高了机器人在拣选速度方面的要求。麻省理工学院研究人员开发的一项新技术只需要少数人类演示即可重新编程机器人。这种机器学习方法使机器人能够拾取和放置从未遇到过的随机姿势的从未见过的物体。在 10 到 15 分钟内,机器人将准备好执行新的拾取和放置任务。
  • 2021年全球半导体IP供应商前十名出炉(IPnest版) IPnest在2022年5月份发布了全球IP供应商排名数据。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了