广告

莱迪思关于网络边缘嵌入式视觉处理白皮书

2020-07-13 16:07:44 综合报道 阅读:
网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。

引言rgdednc

网络边缘已迅速成为 AI 处理未来发展至关重要的一部分。随着 5G 连接数十亿设备,互连将无处不在。市场对应用人工智能和机器学习(AI/ML)的兴趣不断增长,对于在网络边缘运行、具备 AI/ML 处理功能的低功耗高科技设备的需求也十分巨大。在网络边缘进行高级处理能够极大降低终端和终端用户的延迟,更好地保护用户隐私。此外,网络边缘智能设备能对发送到云端的数据进行筛选,从而降低网络成本和带宽要求。rgdednc

这些网络边缘智能设备大多使用图像传感器来实现各类嵌入式视觉应用,包括对象计数和存在检测等基于 AI/ML 的应用。然而,在网络边缘支持嵌入式视觉应用,要求设备具有某些设计和性能上的特征:如低功耗、高性能、高可靠性和小尺寸。针对这类应用,莱迪思推出了全新 CrossLink-NX™系列 FPGA。新的芯片旨在满足视频处理的最新趋势:如混用多个传感器和显示屏、视频分辨率更高、使用多个接口以及网络边缘 AI 处理等。rgdednc

CrossLink 遇见 Nexusrgdednc

为帮助开发人员支持全新及现有的嵌入式视觉系统,莱迪思推出了 CrossLinkPlus™ 这款专业化、小尺寸、低功耗 FPGA 产品系列。rgdednc

rgdednc

1 CrossLinkPlus   CrossLink-NX™ 对比rgdednc

CrossLinkPlus 的可编程逻辑能满足处理需求,还支持各类接口标准,是网络边缘应用中视频信号聚合和图像协处理的绝佳选择。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工艺制造。rgdednc

针对需要更高性能的嵌入式视觉系统,莱迪思发布了 CrossLink-NX™ 系列 FPGA。这是基于莱迪思全新 FPGA 技术平台 Lattice Nexus™ 的首款 FPGA,也是业界首款采用 28 nm 全耗尽型绝缘层上硅(FD-SOI)工艺的主流低功耗 FPGA 平台。得益于 28nm FD-SOI 工艺以及针对低功耗和小型封装进行了优化的全新 FPGA  架构,CrossLink-NX™  极大扩展了 CrossLink FPGA  系列的功能。CrossLink-NX™  提供更低的功耗、更小的封装、更高的性能和可靠性以及易于使用的新工具,为开发人员提供了视频和传感器处理的创新选择,其表现显著优于同类竞品 FPGA。rgdednc

CrossLink-NX™ 的应用市场:汽车、移动设备、工业等rgdednc

CrossLink-NX™ 系列产品非常灵活,可以满足视频切换和图像处理领域多个细分市场的需求。rgdednc
这些领域的应用大多需要支持在多个显示屏、摄像头和传感器(图像传感器等)之间桥接和/或聚合数据流。此外,这些组件可用于即时视频处理和 AI/ML 推理。由于 FPGA 具有较高的能效,因此它们可以用于电池供电的移动设备中,并且可以提供足够的性能,在计算和工业控制应用中大放异彩。rgdednc

rgdednc

2:嵌入视觉的发展趋势                           资料来源:莱迪思rgdednc

在视频监控和安防应用中,CrossLink-NX™ 可以实现 AI 推理,从而对传感器数据进行预处理,这类应用包括人脸识别和存在检测。此外,它还可以用于传感器聚合和桥接。rgdednc
此款芯片可用作嵌入式视觉协处理器,合并多达 14 个传感器。它还可以用于视频缩放、旋转和色彩空间转换。设计人员可以使用该芯片将一个传感器数据流发送到多个位置,这在汽车应用中非常实用,因为摄像头常常需要向多个处理单元提供数据。rgdednc

在本白皮书的以下各节中,我们将比较 CrossLink-NX™ 和逻辑单元密度及 I/O 支持相近的FPGA。以下是莱迪思提供的性能和功耗比较测试。rgdednc

高性能 CrossLink-NX™ 实现网络边缘 AIrgdednc

人们通常认为 AI 处理需要在云端完成,然而在网络边缘实现设备端的 AI 功能越来越重要,因为这能够更好地保护用户隐私、减少上传到云端的数据量、还能降低数据延迟以缩短设备响应时间。rgdednc

对于硬件开发人员而言,多种因素导致了实现网络边缘 AI/ML 充满挑战。例如,为了提高 AI/ML 结果的准确性或实现新的应用,嵌入式视觉开发人员需要为其系统添加更多传感器和/或更高分辨率/更高帧率的摄像头。与此同时,嵌入式视觉设计人员希望使用符合MIPI 标准的组件。MIPI 起初是为移动市场开发的,如今,各类应用的设计人员开始寻找方法利用应用处理器等 MIPI 组件带来的高性能和规模经济的优势。rgdednc

rgdednc

3 CrossLink-NX™ 框图                       资料来源:莱迪思rgdednc

CrossLink-NX™ FPGA 拥有足够的资源处理多个视频数据流和即时执行 AI 计算功能,它还支持各类现有接口。rgdednc

该产品系列拥有多个 MIPI D-PHY 接口和 CSI-2 摄像头接口,旨在服务于视频和显示屏应用。两个硬核 D-PHY 接口,每个接口支持四个通道,通道速率高达 2.5 Gbps(共 10 Gbps),另外的软核 MIPI D-PHY 配置支持最多 12 个速率为 1.5 Gbps 的 MIPI 数据流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。rgdednc

CrossLink-NX™ 的硬核 DSP 模块可用于在本地处理神经网络(NN)。该系列平均每个逻辑单元有 170 bit 存储空间,拥有同类产品中最高的存储与逻辑比。FPGA 的大型片上 SRAM 从 1 到 2.5 MB 不等,可存储神经网络激活和权重。rgdednc

FD-SOI 工艺实现创新的功耗模式和更高的稳定性rgdednc

莱迪思采用 FD-SOI 工艺,为开发人员管理功耗提供了一种创新的思路。该工艺可以实现在裸片的背面施加电压(负偏压),从而改变阈值电压。该芯片因此可以提供两种工作模式——低功耗模式和高性能模式。通过功耗优化,较高频率下的工作功率可以在 200mW 左右,而静态漏电功耗仅为十几毫瓦。与其他同类竞品相比,CrossLink-NX™ FPGA 的功耗降低多达 75%。rgdednc

FD-SOI 工艺还带来了另一个优势,即软错误(高能粒子撞击 FPGA 中的晶体管并损坏性能的现象)大大减少。使用 FD-SOI 工艺可显著减小芯片上容易受到软错误影响的物理区域。为确保基于 SRAM 的 LUT稳定运行,还使用了存储块错误校正代码进行软件错误检查。总而言之,基于 FD-SOI 工艺的 CrossLink-NX™ 的软错误率(SER)比 bulk CMOS 工艺制造的同类竞品 FPGA 解决方案降低 100 多倍。rgdednc

CrossLink-NX™ 尺寸更小rgdednc

移动应用往往有非常严格的空间限制。莱迪思将推出该系列的两款产品,分别支持不同级别的逻辑大小(17K 或 40K 逻辑单元)。CrossLink-NX™ 系列的一大优势是它占据的空间极小,最小尺寸仅为 3.7 mm x 4.1 mm(17K 逻辑单元器件)。CrossLink-NX™ 系列的器件引脚兼容,因此同样的电路板设计可用于不同的应用,还可以对使用这些器件的设计的未来版本进行性能升级。rgdednc

瞬时启动rgdednc

CrossLink-NX™ FPGA 使用 quad-SPI 闪存存储配置文件。可以在 3 毫秒内首先配置 I/O 引脚,然后在 14 毫秒内即可完成逻辑配置。这些特性实现了瞬时启动,降低了在许多应用中可能出现的运行问题。rgdednc

CrossLink-NX™ 提供易用的体验rgdednc

CrossLink-NX™ FPGA 拥有大量不断更新的软件支持,包括莱迪思 Radiant 设计工具(最近的更新包括了片上调试、信号完整性分析和工程变更单编辑器等功能)和用于嵌入式视觉应用的各类 IP 核(MIPI D-PHY、格式转换、PCIe、SGMII 和 OpenLDI)。莱迪思还提供针对常见应用(例如摄像头聚合)的开发板和参考设计,未来将发布更多开发板和参考设计。rgdednc

结论rgdednc

莱迪思通过 CrossLink-NX™ FPGA 系列产品,将可编程性与高性能处理及高速 I/O 互连相结合。这些器件将以高度的灵活性、低功耗、可编程性、小尺寸和高速视频接口,为开发人员提供实现嵌入式智能视觉应用的多种选择。该系列仅仅是基于莱迪思 Nexus FPGA 技术平台的首款产品,未来的新产品值得期待!rgdednc

CrossLink 产品系列参数rgdednc

rgdednc

责编:Challeyrgdednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • iPhone 15全面升级,Ultra版本或超万元起售 据多方消息,明年苹果将在手机产品线上进行大范围的升级,如今的Pro版将不再是最高端版本,而是将推出一个全新产品iPhone 15 Ultra。
  • 手机信号强弱跟什么有关,手机信号放大器真的有用吗? 现代生活的各个方面都离不开手机,无论是衣食住行,还是社交娱乐,手机都极大的方便了我们的日常生活,而手机信号则会极大的影响我们的使用体验。不知道大家有没有这样的体验,明明手机信号显示的满格,甚至还是5G信号满格,但就是加载不出页面,那这到底是怎么一回事呢?EDN小编带您一起了解。
  • 康博电子:不忘初心——混合型分销商的发展之路 2022年11月11日,在2022国际集成电路展览会暨研讨会(IIC Shenzhen)的全球分销与供应链领袖峰会上,福建康博电子技术股份有限公司副总裁王秀梅女士带来了“不忘初心——混合型分销商的发展之路”的主题演讲。
  • 中科院深圳先进技术研究院对MCU智能化技术深入探索 MCU的特点就是小存储,小算力,但是神经网络的特点又是计算密集型和存储密集型,所以我们需要做很多的优化,才可以使这些神经网络跑在我们的小芯片上。
  • 联发科发布新一代旗舰芯片天玑9200,支持光线追踪 联发科发布新一代旗舰5GSoC天玑9200,该芯片为业界首款采用台积电第二代4nm制程工艺的芯片,集成了170亿个晶体管,搭载新一代8核旗舰CPU和天玑最强旗舰GPU,与上一代产品天玑9000相比,CPU、GPU性能、散热能力等再度提升,功耗降低25%。
  • 量子计算机和 CMOS 半导体的发展回顾与未来预测 在未来的应用中,与量子比特之间的光通信可能也是必要的。在这种情况下,集成 CMOS电路还需要包括微米和纳米光学结构,例如光导和干涉仪。这些类型的光学功能已在室温 CMOS 器件上成功实现,在未来的量子计算应用中可能也需要在低温下实现同等级别的光通信功能。
  • 机器人发展的必经之路——5G技术 LitePoint的Khushboo Kalyani表示,技术可以推动创新机器人应用的发展,但需要对元器件测试加以关注。
  • 撬开Google Wifi路由器,一窥内部设计 最近,Google悄然发布了一款价格较低的第三代设计,其中唯一值得注意的改进(至少在外观上)是将基于USB-C连接器的电源转变为基于桶形连接器的电源。在我的三件套翻新机中,有两件是第二代AC-1304型号,但第三件是第一代 NLS-1304-25,这也正是此次要拆解分析的对象。
  • 适合工业应用的鲁棒SPI/I2C通信 状态监控、工厂自动化、楼宇自动化和结构监控等应用要求外设位于远程位置,通常远离控制器。系统设计人员传统上利用中继器或具有更高驱动强度的驱动器来扩展这些接口,其代价是整体成本和功耗增加。
  • 让4G手机秒变5G的手机壳?分析其设计实现及使用弊端 很多千元机都已经支持5G了,花799来买个耗电的5G壳,网速还不一定能提高? 
  • 为何10BASE-T1S是汽车通信中缺失的以太网链路 新的IEEE汽车以太网标准不断涌现,10BASE-T1S以太网是最新标准之一。本文讨论汽车行业的发展趋势,它们反映了汽车电子/电气(E/E)架构的变化,以及新10BASE-T1S标准如何支持和推动这种新架构的部署。
  • “中国IC设计成就奖”提名产品简介:业界首款5G R16 Rea 本次申报的展锐5G基带芯片平台-展锐唐古拉V516,这是展锐推出的业界首个支持5G R16 Ready的产品平台。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了