广告

莱迪思关于网络边缘嵌入式视觉处理白皮书

2020-07-13 综合报道 阅读:
网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。

引言h9Rednc

网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。h9Rednc

这些网络边缘智能设备大多使用图像传感器来实现各类嵌入式视觉应用,包括对象计数和存在检测等基于 AI/ML 的应用。然而,在网络边缘支持嵌入式视觉应用,要求设备具有某些设计和性能上的特征:如低功耗、高性能、高可靠性和小尺寸。针对这类应用,莱迪思推出了全新 CrossLink-NX™系列 FPGA。新的芯片旨在满足视频处理的最新趋势:如混用多个传感器和显示屏、视频分辨率更高、使用多个接口以及网络边缘 AI 处理等。h9Rednc

CrossLink 遇见 Nexush9Rednc

为帮助开发人员支持全新及现有的嵌入式视觉系统,莱迪思推出了 CrossLinkPlus™ 这款专业化、小尺寸、低功耗 FPGA 产品系列。h9Rednc

h9Rednc

1 CrossLinkPlus   CrossLink-NX™ 对比h9Rednc

CrossLinkPlus 的可编程逻辑能满足处理需求,还支持各类接口标准,是网络边缘应用中视频信号聚合和图像协处理的绝佳选择。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工艺制造。h9Rednc

针对需要更高性能的嵌入式视觉系统,莱迪思发布了 CrossLink-NX™ 系列 FPGA。这是基于莱迪思全新 FPGA 技术平台 Lattice Nexus™ 的首款 FPGA,也是业界首款采用 28 nm 全耗尽型绝缘层上硅(FD-SOI)工艺的主流低功耗 FPGA 平台。得益于 28nm FD-SOI 工艺以及针对低功耗和小型封装进行了优化的全新 FPGA  架构,CrossLink-NX™  极大扩展了 CrossLink FPGA  系列的功能。CrossLink-NX™  提供更低的功耗、更小的封装、更高的性能和可靠性以及易于使用的新工具,为开发人员提供了视频和传感器处理的创新选择,其表现显著优于同类竞品 FPGA。h9Rednc

CrossLink-NX™ 的应用市场:汽车、移动设备、工业等h9Rednc

CrossLink-NX™ 系列产品非常灵活,可以满足视频切换和图像处理领域多个细分市场的需求。h9Rednc
这些领域的应用大多需要支持在多个显示屏、摄像头和传感器(图像传感器等)之间桥接和/或聚合数据流。此外,这些组件可用于即时视频处理和 AI/ML 推理。由于 FPGA 具有较高的能效,因此它们可以用于电池供电的移动设备中,并且可以提供足够的性能,在计算和工业控制应用中大放异彩。h9Rednc

h9Rednc

2:嵌入视觉的发展趋势                           资料来源:莱迪思h9Rednc

在视频监控和安防应用中,CrossLink-NX™ 可以实现 AI 推理,从而对传感器数据进行预处理,这类应用包括人脸识别和存在检测。此外,它还可以用于传感器聚合和桥接。h9Rednc
此款芯片可用作嵌入式视觉协处理器,合并多达 14 个传感器。它还可以用于视频缩放、旋转和色彩空间转换。设计人员可以使用该芯片将一个传感器数据流发送到多个位置,这在汽车应用中非常实用,因为摄像头常常需要向多个处理单元提供数据。h9Rednc

在本白皮书的以下各节中,我们将比较 CrossLink-NX™ 和逻辑单元密度及 I/O 支持相近的FPGA。以下是莱迪思提供的性能和功耗比较测试。h9Rednc

高性能 CrossLink-NX™ 实现网络边缘 AIh9Rednc

人们通常认为 AI 处理需要在云端完成,然而在网络边缘实现设备端的 AI 功能越来越重要,因为这能够更好地保护用户隐私、减少上传到云端的数据量、还能降低数据延迟以缩短设备响应时间。h9Rednc

对于硬件开发人员而言,多种因素导致了实现网络边缘 AI/ML 充满挑战。例如,为了提高 AI/ML 结果的准确性或实现新的应用,嵌入式视觉开发人员需要为其系统添加更多传感器和/或更高分辨率/更高帧率的摄像头。与此同时,嵌入式视觉设计人员希望使用符合MIPI 标准的组件。MIPI 起初是为移动市场开发的,如今,各类应用的设计人员开始寻找方法利用应用处理器等 MIPI 组件带来的高性能和规模经济的优势。h9Rednc

h9Rednc

3 CrossLink-NX™ 框图                       资料来源:莱迪思h9Rednc

CrossLink-NX™ FPGA 拥有足够的资源处理多个视频数据流和即时执行 AI 计算功能,它还支持各类现有接口。h9Rednc

该产品系列拥有多个 MIPI D-PHY 接口和 CSI-2 摄像头接口,旨在服务于视频和显示屏应用。两个硬核 D-PHY 接口,每个接口支持四个通道,通道速率高达 2.5 Gbps(共 10 Gbps),另外的软核 MIPI D-PHY 配置支持最多 12 个速率为 1.5 Gbps 的 MIPI 数据流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。h9Rednc

CrossLink-NX™ 的硬核 DSP 模块可用于在本地处理神经网络(NN)。该系列平均每个逻辑单元有 170 bit 存储空间,拥有同类产品中最高的存储与逻辑比。FPGA 的大型片上 SRAM 从 1 到 2.5 MB 不等,可存储神经网络激活和权重。h9Rednc

FD-SOI 工艺实现创新的功耗模式和更高的稳定性h9Rednc

莱迪思采用 FD-SOI 工艺,为开发人员管理功耗提供了一种创新的思路。该工艺可以实现在裸片的背面施加电压(负偏压),从而改变阈值电压。该芯片因此可以提供两种工作模式——低功耗模式和高性能模式。通过功耗优化,较高频率下的工作功率可以在 200mW 左右,而静态漏电功耗仅为十几毫瓦。与其他同类竞品相比,CrossLink-NX™ FPGA 的功耗降低多达 75%。h9Rednc

FD-SOI 工艺还带来了另一个优势,即软错误(高能粒子撞击 FPGA 中的晶体管并损坏性能的现象)大大减少。使用 FD-SOI 工艺可显著减小芯片上容易受到软错误影响的物理区域。为确保基于 SRAM 的 LUT稳定运行,还使用了存储块错误校正代码进行软件错误检查。总而言之,基于 FD-SOI 工艺的 CrossLink-NX™ 的软错误率(SER)比 bulk CMOS 工艺制造的同类竞品 FPGA 解决方案降低 100 多倍。h9Rednc

CrossLink-NX™ 尺寸更小h9Rednc

移动应用往往有非常严格的空间限制。莱迪思将推出该系列的两款产品,分别支持不同级别的逻辑大小(17K 或 40K 逻辑单元)。CrossLink-NX™ 系列的一大优势是它占据的空间极小,最小尺寸仅为 3.7 mm x 4.1 mm(17K 逻辑单元器件)。CrossLink-NX™ 系列的器件引脚兼容,因此同样的电路板设计可用于不同的应用,还可以对使用这些器件的设计的未来版本进行性能升级。h9Rednc

瞬时启动h9Rednc

CrossLink-NX™ FPGA 使用 quad-SPI 闪存存储配置文件。可以在 3 毫秒内首先配置 I/O 引脚,然后在 14 毫秒内即可完成逻辑配置。这些特性实现了瞬时启动,降低了在许多应用中可能出现的运行问题。h9Rednc

CrossLink-NX™ 提供易用的体验h9Rednc

CrossLink-NX™ FPGA 拥有大量不断更新的软件支持,包括莱迪思 Radiant 设计工具(最近的更新包括了片上调试、信号完整性分析和工程变更单编辑器等功能)和用于嵌入式视觉应用的各类 IP 核(MIPI D-PHY、格式转换、PCIe、SGMII 和 OpenLDI)。莱迪思还提供针对常见应用(例如摄像头聚合)的开发板和参考设计,未来将发布更多开发板和参考设计。h9Rednc

结论h9Rednc

莱迪思通过 CrossLink-NX™ FPGA 系列产品,将可编程性与高性能处理及高速 I/O 互连相结合。这些器件将以高度的灵活性、低功耗、可编程性、小尺寸和高速视频接口,为开发人员提供实现嵌入式智能视觉应用的多种选择。该系列仅仅是基于莱迪思 Nexus FPGA 技术平台的首款产品,未来的新产品值得期待!h9Rednc

CrossLink 产品系列参数h9Rednc

h9Rednc

责编:Challeyh9Rednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 泰克在其屡获大奖的高性能示波器中增加5G功能 工程师可以使用最新5G软件,在一台示波器上诊断复杂的信号交互,减少麻烦的仪器之间关联需求。
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • “中国IC设计成就奖”提名产品简介:集成隔离电源的隔离 CA-IS3062W是川土微电子在2020年12月推出的一款隔离式控制区域网络(CAN)物理层收发器,同时内部集成隔离式DC-DC转换器。符合ISO11898-2标准的技术规范。此器件采用片上二氧化硅(SiO2)电容作为隔离层,在CAN协议控制器和物理层总线之间创建一个完全隔离的接口,配合内部集成的隔离式DC-DC,可隔绝噪声和干扰并防止损坏敏感电路。
  • VIAVI携手罗德与施瓦茨推出O-RAN无线单元一致性测试解 O-RU测试管理器结合双方的测试解决方案,提供统一的用户体验
  • 恩智浦发布S32G汽车集成平台,加速软件定义汽车开发 GoldVIP为服务型网关、域控制器和车载计算机加快S32G芯片评估、软件开发和快速原型制作
  • 新的10BASE-T1L标准有哪些变化? 本文介绍了10BASE-T1L的基础知识,并展示了与选择各种应用适用连接器相关的产品。通过数据线实现各种互连设备的电力传输在10BASE-T1L中也发挥着至关重要的作用。
  • 扫除车辆电动化的障碍 未来是电动化的世界。事实上,在无数的工业和消费环境中,产品、系统和流程的电动化进程正加速发展。先进的电子技术替代了液压和气动等传统方法,驱动着这些转变。
  • 构建快速、灵活的电动汽车充电网络 在我们未来的电动汽车行业中,半导体技术将为电网运营商提供更大的灵活性,从而更好地管理能源基础设施 
  • 为何毫米波需要采用不同的DPD方法?如何量化其值? 本文旨在比较传统的sub-6 GHz宏蜂窝设计和毫米波基站无线电和天线设计。它进一步介绍了这些设计差异相对于sub-6 GHz无线电将如何影响毫米波阵列中的DPD实施。
  • 实施自动化定点作业:使用实时动态技术提高定位精度 在不久的将来,割草机、扫地机、披萨运送车和垃圾处理设备将无需人工协助即可提供服务。飞行无人机可以承担危险的工作任务,例如清洗摩天大楼的窗户或者在不使用远程控制的情况下清洁电塔。这些工作只有借助人工智能,并配合使用日益成熟的定位传感器技术才能够做到。尽管GPS、北斗、伽利略或Glonass系统在不断发展和改进,但传统的全球卫星导航系统(GNSS)接收器无法做到精确定点作业。根据当前的卫星群落布局,即使在其他状况良好的情况下,所确定的位置也可能偏离几米距离。这对于需要较高精度的应用而言是致命的。例如,在农业领域,如果自动驾驶机器在实际需要施肥的植物旁边的三米处施肥,或者完全剪除树枝而不是只剪几厘米,这将导致巨大的农作物损失,从而造成相应的经济损失。
  • 恩智浦为三星Flip 3智能手机提供优质Wi-Fi 6性能 恩智浦半导体前端模块为三星Flip 3智能手机提供快速且可靠的Wi-Fi 6性能
  • 展锐第二代5G芯片平台实现客户产品量产,携手伙伴打造人 展锐举办“人民的5G”线上发布会,携手中国电信、中兴通讯、海信、台积电、GSMA等产业生态伙伴,共同见证展锐第二代5G芯片平台唐古拉T770、唐古拉T760实现客户产品量产,共同打造人民的5G。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了