广告

莱迪思关于网络边缘嵌入式视觉处理白皮书

2020-07-13 综合报道 阅读:
网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。

引言dcHednc

网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。dcHednc

这些网络边缘智能设备大多使用图像传感器来实现各类嵌入式视觉应用,包括对象计数和存在检测等基于 AI/ML 的应用。然而,在网络边缘支持嵌入式视觉应用,要求设备具有某些设计和性能上的特征:如低功耗、高性能、高可靠性和小尺寸。针对这类应用,莱迪思推出了全新 CrossLink-NX™系列 FPGA。新的芯片旨在满足视频处理的最新趋势:如混用多个传感器和显示屏、视频分辨率更高、使用多个接口以及网络边缘 AI 处理等。dcHednc

CrossLink 遇见 NexusdcHednc

为帮助开发人员支持全新及现有的嵌入式视觉系统,莱迪思推出了 CrossLinkPlus™ 这款专业化、小尺寸、低功耗 FPGA 产品系列。dcHednc

dcHednc

1 CrossLinkPlus   CrossLink-NX™ 对比dcHednc

CrossLinkPlus 的可编程逻辑能满足处理需求,还支持各类接口标准,是网络边缘应用中视频信号聚合和图像协处理的绝佳选择。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工艺制造。dcHednc

针对需要更高性能的嵌入式视觉系统,莱迪思发布了 CrossLink-NX™ 系列 FPGA。这是基于莱迪思全新 FPGA 技术平台 Lattice Nexus™ 的首款 FPGA,也是业界首款采用 28 nm 全耗尽型绝缘层上硅(FD-SOI)工艺的主流低功耗 FPGA 平台。得益于 28nm FD-SOI 工艺以及针对低功耗和小型封装进行了优化的全新 FPGA  架构,CrossLink-NX™  极大扩展了 CrossLink FPGA  系列的功能。CrossLink-NX™  提供更低的功耗、更小的封装、更高的性能和可靠性以及易于使用的新工具,为开发人员提供了视频和传感器处理的创新选择,其表现显著优于同类竞品 FPGA。dcHednc

CrossLink-NX™ 的应用市场:汽车、移动设备、工业等dcHednc

CrossLink-NX™ 系列产品非常灵活,可以满足视频切换和图像处理领域多个细分市场的需求。dcHednc
这些领域的应用大多需要支持在多个显示屏、摄像头和传感器(图像传感器等)之间桥接和/或聚合数据流。此外,这些组件可用于即时视频处理和 AI/ML 推理。由于 FPGA 具有较高的能效,因此它们可以用于电池供电的移动设备中,并且可以提供足够的性能,在计算和工业控制应用中大放异彩。dcHednc

dcHednc

2:嵌入视觉的发展趋势                           资料来源:莱迪思dcHednc

在视频监控和安防应用中,CrossLink-NX™ 可以实现 AI 推理,从而对传感器数据进行预处理,这类应用包括人脸识别和存在检测。此外,它还可以用于传感器聚合和桥接。dcHednc
此款芯片可用作嵌入式视觉协处理器,合并多达 14 个传感器。它还可以用于视频缩放、旋转和色彩空间转换。设计人员可以使用该芯片将一个传感器数据流发送到多个位置,这在汽车应用中非常实用,因为摄像头常常需要向多个处理单元提供数据。dcHednc

在本白皮书的以下各节中,我们将比较 CrossLink-NX™ 和逻辑单元密度及 I/O 支持相近的FPGA。以下是莱迪思提供的性能和功耗比较测试。dcHednc

高性能 CrossLink-NX™ 实现网络边缘 AIdcHednc

人们通常认为 AI 处理需要在云端完成,然而在网络边缘实现设备端的 AI 功能越来越重要,因为这能够更好地保护用户隐私、减少上传到云端的数据量、还能降低数据延迟以缩短设备响应时间。dcHednc

对于硬件开发人员而言,多种因素导致了实现网络边缘 AI/ML 充满挑战。例如,为了提高 AI/ML 结果的准确性或实现新的应用,嵌入式视觉开发人员需要为其系统添加更多传感器和/或更高分辨率/更高帧率的摄像头。与此同时,嵌入式视觉设计人员希望使用符合MIPI 标准的组件。MIPI 起初是为移动市场开发的,如今,各类应用的设计人员开始寻找方法利用应用处理器等 MIPI 组件带来的高性能和规模经济的优势。dcHednc

dcHednc

3 CrossLink-NX™ 框图                       资料来源:莱迪思dcHednc

CrossLink-NX™ FPGA 拥有足够的资源处理多个视频数据流和即时执行 AI 计算功能,它还支持各类现有接口。dcHednc

该产品系列拥有多个 MIPI D-PHY 接口和 CSI-2 摄像头接口,旨在服务于视频和显示屏应用。两个硬核 D-PHY 接口,每个接口支持四个通道,通道速率高达 2.5 Gbps(共 10 Gbps),另外的软核 MIPI D-PHY 配置支持最多 12 个速率为 1.5 Gbps 的 MIPI 数据流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。dcHednc

CrossLink-NX™ 的硬核 DSP 模块可用于在本地处理神经网络(NN)。该系列平均每个逻辑单元有 170 bit 存储空间,拥有同类产品中最高的存储与逻辑比。FPGA 的大型片上 SRAM 从 1 到 2.5 MB 不等,可存储神经网络激活和权重。dcHednc

FD-SOI 工艺实现创新的功耗模式和更高的稳定性dcHednc

莱迪思采用 FD-SOI 工艺,为开发人员管理功耗提供了一种创新的思路。该工艺可以实现在裸片的背面施加电压(负偏压),从而改变阈值电压。该芯片因此可以提供两种工作模式——低功耗模式和高性能模式。通过功耗优化,较高频率下的工作功率可以在 200mW 左右,而静态漏电功耗仅为十几毫瓦。与其他同类竞品相比,CrossLink-NX™ FPGA 的功耗降低多达 75%。dcHednc

FD-SOI 工艺还带来了另一个优势,即软错误(高能粒子撞击 FPGA 中的晶体管并损坏性能的现象)大大减少。使用 FD-SOI 工艺可显著减小芯片上容易受到软错误影响的物理区域。为确保基于 SRAM 的 LUT稳定运行,还使用了存储块错误校正代码进行软件错误检查。总而言之,基于 FD-SOI 工艺的 CrossLink-NX™ 的软错误率(SER)比 bulk CMOS 工艺制造的同类竞品 FPGA 解决方案降低 100 多倍。dcHednc

CrossLink-NX™ 尺寸更小dcHednc

移动应用往往有非常严格的空间限制。莱迪思将推出该系列的两款产品,分别支持不同级别的逻辑大小(17K 或 40K 逻辑单元)。CrossLink-NX™ 系列的一大优势是它占据的空间极小,最小尺寸仅为 3.7 mm x 4.1 mm(17K 逻辑单元器件)。CrossLink-NX™ 系列的器件引脚兼容,因此同样的电路板设计可用于不同的应用,还可以对使用这些器件的设计的未来版本进行性能升级。dcHednc

瞬时启动dcHednc

CrossLink-NX™ FPGA 使用 quad-SPI 闪存存储配置文件。可以在 3 毫秒内首先配置 I/O 引脚,然后在 14 毫秒内即可完成逻辑配置。这些特性实现了瞬时启动,降低了在许多应用中可能出现的运行问题。dcHednc

CrossLink-NX™ 提供易用的体验dcHednc

CrossLink-NX™ FPGA 拥有大量不断更新的软件支持,包括莱迪思 Radiant 设计工具(最近的更新包括了片上调试、信号完整性分析和工程变更单编辑器等功能)和用于嵌入式视觉应用的各类 IP 核(MIPI D-PHY、格式转换、PCIe、SGMII 和 OpenLDI)。莱迪思还提供针对常见应用(例如摄像头聚合)的开发板和参考设计,未来将发布更多开发板和参考设计。dcHednc

结论dcHednc

莱迪思通过 CrossLink-NX™ FPGA 系列产品,将可编程性与高性能处理及高速 I/O 互连相结合。这些器件将以高度的灵活性、低功耗、可编程性、小尺寸和高速视频接口,为开发人员提供实现嵌入式智能视觉应用的多种选择。该系列仅仅是基于莱迪思 Nexus FPGA 技术平台的首款产品,未来的新产品值得期待!dcHednc

CrossLink 产品系列参数dcHednc

dcHednc

责编:ChalleydcHednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 使用PCIe交换网结构在多主机系统中优化资源部署 PCIe交换网结构是一种能够充分利用CPU巨大性能的绝佳方法,但PCIe标准本身存在一些障碍。不过,可以通过使用动态分区和多主机单根I/O虚拟化共享技术来解决这些难题,以便可以将GPU和NVMe资源实时动态分配给多主机系统中的任何主机,从而满足机器学习工作负载不断变化的需求。
  • “缺点”变“优点”,Li-Fi上位的机遇到了吗? Li-Fi(可见光通信)的已经提出来多年了,但是部署一直非常缓慢,在日常媒体的报道中,印象中大多停留在实验室阶段......
  • Li-Fi:未来十年的复合年增长率将超过50% 市场调研机构Global Market Insights公司指出,Li-Fi市场规模在2019年超过7,000万美元,并有望在2020年至2030年之间以超过50%的复合年增长率增长。
  • 深圳宣布实现 5G SA(独立组网)全覆盖,成为全球首个进入5G 现在的5G可以说牵动着全球的技术,吸引着全世界的眼球。今日(8月17),深圳正式宣布成为全球首个5G  SA独立组网全覆盖的城市,其实,也是世界上首个SA独立组网的城市。
  • 设计用于物联网(IoT)的以太网供电受电设备(PoE-PD) 互联的设备依赖于两个核心功能,即通信回传和电源。对于物联网(IoT)设备,经常会出现三个核心问题:电源、通信和安全性。像WiFi这样的无线技术已在市场上引起了人们的关注多年,但却为这三个问题困扰。无线电池供电的设备需要定期充电,WiFi的频段饱和。这是当今两个常见的问题。较大的功率需求需要主电源连接,这使安装点复杂并受到限制。
  • LoRa不符合工信部技术要求?答案正相反! 去年底,继《中华人民共和国工业和信息化部公告2019年第52号》(进一步规范微功率短距离无线电发射设备的管理)发布后,有多家媒体揣测,这一规范是针对LoRa所制定,LoRa恐怕要凉凉了。在“2020 LoRa创新应用论坛”上,Semtech公司就此给出了官方解答。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了