广告

Arm为智能摄像头提供安全的计算机视觉

2022-03-08 11:59:12 Arm 阅读:
物联网的安全性是科技行业的重中之重但又极具挑战。确保所有物联网设备不被恶意人士所利用至关重要,特别是当这些设备已经获取并存储了与人、地点及高价值资产有关的图像数据。

中国有句古话,眼观六路,耳听八方,敏锐的观察和感知能力是人类智慧的基础。传统的摄像头只有感知功能,并不能理解图像所描述的人和事物。计算机视觉利用人工智能(AI)让智能摄像头等设备变得聪明,可以解释和理解图像中发生的事情。通过科技重新打造一个与人眼一样强大的传感器,为计算机执行以往需要人类视觉才能进行的任务,开启了广泛而多样的用例,因此计算机视觉正迅速成为物联网获取真实世界数据并处理数据的最重要方式之一。0PAednc

从计算停车场的汽车数量,到监控零售商店的客流量,或是找出生产线上的瑕疵品,智能摄像头的计算机视觉功能正被应用于广泛的商业与工业场景中。在家中,智能摄像头可以告诉我们包裹何时己送达、小狗是否从后院溜了出去,或是婴儿何时醒来等待呵护。0PAednc

智能摄像头技术在商用与消费市场的应用正呈现指数级增长。根据市场调研与战略咨询公司Yole Développement在2020年发布的《用于监控与安全用途的摄像头与计算》报告,全球仅用于监控的摄像头约有10亿台,预计到2024年,这一数字有望翻倍增长。0PAednc

这项技术在安全性、异构计算、图像处理与云服务等方面有了长足的进展,让未来的计算机视觉产品能具备更胜以往的能力。0PAednc

智能摄像头的安全性是计算机视觉的首要考量0PAednc

物联网的安全性是科技行业的重中之重但又极具挑战。确保所有物联网设备不被恶意人士所利用至关重要,特别是当这些设备已经获取并存储了与人、地点及高价值资产有关的图像数据。0PAednc

未经授权访问负责监控工厂、医院、学校或家庭的智能摄像头的数据,不但严重侵犯了隐私权,也可能导致密谋犯罪、机密数据外泄等难以估量的伤害。智能摄像头遭到破解的同时也会提供一个破口,让恶意人士可以访问网络内诸如门禁、暖气与照明控制等其它设备,甚至控制整个智能工厂。0PAednc

我们需要能够信任智能摄像头来维护所有人的安全,而不是为隐私侵犯另辟新径。Arm坚信物联网安全的重要性,多年来在此领域持续开发和创新,通过包括适用于Cortex®-ACortex®-M的Arm TrustZone等产品组合令最终客户可以放心部署从云到端的物联网应用。0PAednc

在未来,基于Armv9架构的智能摄像头芯片,将通过Arm机密计算架构(Confidential Compute Architecture, CCA)进一步强化计算机视觉产品的安全性。0PAednc

除此之外,Arm也持续推动安全性最佳实践的共同标准,如PSA CertifiedPARSEC等。这些标准旨在确保未来所有智能摄像头都能具有内置安全性:从图像传感器首次进行场景录像到存储数据,无论数据是存储在本机上或是利用先进的安全与数据加密技术存储在云端。0PAednc

终端AI驱动智能摄像头的计算机视觉0PAednc

图像传感器技术与边缘AI的结合能让智能摄像头通过大量获取计算机视觉的数据,进行日益复杂的推理。智能摄像头内的新机器学习能力可以满足多样化的用例,例如探测人或动物、辨识特定物件,以及读取车牌号码。这些计算机视觉的应用都需要在终端设备运行机器学习(ML)算法,而不是把数据送到云端进行推论处理。分布式算力是数据时代的大趋势,将计算能力移至距离数据更近的地方可以提高决策速度,降低带宽成本并更好地维护数据安全。0PAednc

例如,在繁忙的十字路口部署一台智能摄像头,通过计算机视觉可以确认一天中各时段等待红灯的汽车数量与类型,再利用设备本身的ML功能来处理数据并进行推论,在不需要人为干预的情况下,智能摄像头便可以自动调整它的时序,从而自动减少交通拥堵并限制排放的增加。0PAednc

Arm针对AIoT和边缘智能的投资体现在我们日益壮大的AI合作生态系统,Arm架构对矢量计算的支持,各种AI框架模型在Arm处理器上的优化,以及Ethos机器学习加速器产品线的普及。Arm Ethos产品系列是具备高度可扩展性与高效的NPU,它通过多核心技术,可支持每秒从0.1到10 TOP。同时,Arm也积极寻求与第三方加速器的整合,使AI、多媒体处理更简易高效地运行在Arm架构的芯片产品上。软件在ML领域扮演极其重要的角色,通过Arm NN SDK与TensorFlow Lite for Microcontrollers(TFLM)开源框架,Arm持续不断地支持开源社区和与其他生态伙伴的合作。0PAednc

这些机器学习工作负载框架是基于现有的神经网络以及高效的Arm Cortex-A CPU、Mali™ GPU、Ethos NPU与Arm Compute库以及CMSIS-NN0PAednc

通过第二代可伸缩矢量扩展(SVE2),Armv9架构能提供简单易用的向量计算(可以平行计算的个别数据组),支持强化的AI功能。如此一来,开发者不用重写或重新编译代码,就能直接扩充硬件向量长度。在未来,矩阵乘法的扩展(强化ML的要素之一)将进一步推动AI的发展。0PAednc

与云互连的智能摄像头0PAednc

云与边缘计算也有助于加速智能摄像头的采用。传统的CCTV架构通过网络录像机(NVR)或数字录像机(DVR)将摄像头的数据存储于本机。这种模式有许多的限制,包括需要庞大的存储空间以及每台NVR上有限的实体连接端口数量。0PAednc

迁移到云原生的模式可大幅简化智能摄像头的部署:任何数量级的摄像头都可以通过下载到设备的配置文档进行配置与管理。这也是一种良性循环:来自智能摄像头的数据可以针对特定的用例来训练存储在云上的模型,从而使摄像头更加智能,当摄像头变得更智能,它们需要上传的数据量就会越小。0PAednc

云计算的使用也能结合来自多台智能摄像头的计算机视觉数据,通过AI传感器融合实现流程自动化。以我们刚刚提到的部署在十字路口的智能摄像头为例,云AI算法可以对来自多台智能摄像头的数据进行综合分析,不断地调整整个城市里的交通信号灯时序,进而保持交通畅通。0PAednc

Arm支持从云到终端所需的连续处理能力:Cortex-M微控制器与Cortex-A处理器驱动智能摄像头,Cortex-A处理器驱动边缘网关,云与边缘服务器则利用了Neoverse平台的能力。0PAednc

智能摄像头的全新软硬件需求0PAednc

计算机视觉设备的计算需求每年持续增长,超高分辨率的视频获取(8K 60fps)与64位(Armv8-A)的处理能力是目前高端智能摄像头产品的标准。0PAednc

因此,下一代智能摄像头的SoC必须采用异构架构,结合CPU、GPU、NPU与专属的硬件,实现计算机视觉、图像处理、视频编解码等功能。0PAednc

存储也是另一个关键的技术难点:尽管终端AI可以在摄像头本地处理图像,以降低存储的需求,但许多用例仍需要将数据保存在某个地方(无论是设备本机上,或是边缘服务器或云上)以确保安全。0PAednc

为了确保能妥善存储高分辨率的计算机视觉数据,H.265和AV1等新的视频编解码标准正在成为业界公认的标准。 H.265與AV1等0PAednc

新的应用场景驱动持续创新0PAednc

总而言之,来自新应用场景的需求正在推动对于计算与图像技术全面持续改善的需求。新一代的CCTV摄像头等图像获取设备已是今非昔比,它们所产生的已不再是一张张难以辨识面容的粗糙图像。计算机视觉的进步——效率更高、功能更强大的计算结合AI与ML的智能——让智能摄像头不仅只是图像传感器,而是可以像人类的眼睛一样理解图像,通过所见所闻了解认识世界。连接模拟与数字世界的桥梁正开启我们过去曾觉得难以置信的全新应用场景。0PAednc

– 完 –0PAednc

关于Arm0PAednc

作为计算及数据革命的核心,Arm技术正改变着人们生活及企业运行的方式。Arm低功耗处理器设计和软件平台已应用于超过2,150亿颗芯片的高级计算,Arm的技术安全地为电子设备提供支持,覆盖从传感器到智能手机乃至超级计算的多样化应用。Arm携手超过1,000家技术合作伙伴,为从芯片到云端的AI增强型互联计算的所有领域提供设计、安全和管理方面的技术,并在该技术领域处于业界领先地位。0PAednc

所有信息都「依目前情况」提供,且并不带保证或代表性。此一文件可以自由分享,但不得修改且必须注明出处。Arm是Arm Limited(或其子公司)的商标或注册商标。所有其他品牌或产品名称乃为所属个别公司之财产。© 1995-2022 Arm Group​0PAednc

作者:Arm物联网兼嵌入式事业部副总裁Mohamed Awad,Arm物联网兼嵌入式事业部业务拓展副总裁马健0PAednc

责编:Franklin
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 利用CMOS触发器“标签外”用法实现精密电容传感器 当涉及到药品时,“标签外”一词表明了某种药物(经常被发现)的不同于最初开发的实际而有益的用途。电子元器件也会出现这种情况,例如古老的CD4013B双D CMOS触发器。尽管将4013标记为传统的双稳态逻辑元件,但它却能用作模拟器件而具有极好的标签外潜力。
  • Melexis发布先进的磁性位置传感器芯片 Melexis今日宣布,推出全新的绝对磁性位置传感器芯片MLX90376,具备强大的杂散场抗干扰能力(SFI),适用于360°旋转汽车应用。
  • 思特威重磅推出首颗线阵CMOS图像传感器,赋能工业线阵相 思特威重磅推出首颗LA(Linear)线阵系列4K分辨率高速工业CMOS图像传感器——SC430LA。
  • 安霸领先业界发布用于自动驾驶的集中式4D成像毫米波雷 安霸傲酷自适应AI毫米波雷达软件和高能效的5纳米制程的CV3 AI域控制器主芯片首次实现4D成像毫米波雷达原始数据的集中式处理和前融合。
  • 基于全新测量原理的二氧化碳传感器,清洁空气的好时机 除了代表水的H2O之外,代表二氧化碳的CO2可说是最闻名的化学组分。CO2传感器测量空气中的二氧化碳浓度,以便在超过浓度时作出应对。最新的型款相比先前的产品更小巧且更便宜。
  • Melexis推出多功能双锁存器和开关芯片 Melexis今日宣布发布一款适用于相对位置和速度传感应用的通用型可编程3轴锁存器和开关芯片MLX92352。该器件采用灵活的磁性设计,支持双路输出,且不受间距影响,输出可设置为速度、脉冲或方向。凭借其卓越的EMC和ESD性能,这款无PCB器件为汽车和工业应用节省了空间和总模块成本。
  • 意法半导体生物识别支付平台获EMVCo 认证,有助于机构 意法半导体完整的技术平台获得行业认证,整合嵌入式安全单元和超低功耗通用微控制器,具有经济、强大的安全保护功能
  • 自动驾驶汽车的实现基础 汽车行业正在为2级(脚离开油门或刹车)和3级(手离开方向盘)车辆提供高级驾驶员辅助系统(ADAS)的首批实现方案,尽管从4级(眼睛离开道路)到5级(全自动驾驶)车辆的自动驾驶(AD)系统还处于努力开发当中。事实证明,这一挑战比几年前所预期的要更加困难。
  • 传感器和处理器如何打造更智能、更自主的机器人? 自主机器人是智能机器,无需人工控制或干预即可理解其环境并从中导航。尽管自主机器人技术相对较新,但已在工厂、仓库、城市和家庭等领域中广泛应用。例如,自主机器人可用于在仓库周围运输货物,或执行最后一英里配送,而其他类型的机器人可用于家庭吸尘清洁或修剪草坪。
  • 自热式达林顿晶体管对可构成新的气流传感器 在可用于气流检测的众多方法中,自热式热流量传感器简单、便宜、坚固而又灵敏。它们依赖于被加热传感器的空速和热阻抗之间的关系。本设计实例利用通常被认为是经典达林顿拓扑缺点的优势,将此数学关系转换成了实际电路。
  • 有助于低压测量的精密同步检波放大器设计 本设计实例提出了一种实用电路,借此就可实现同步检测,进而以高线性度和出色的抗噪性对小直流电压进行放大。在涉及电流分流器、称重传感器和热电偶等的测量中需要使用这种电路。
  • 机器人航位推算:深入研究里程计测试与分析 我保证会深入研究这个话题,但首先得从如何进行算法测试开始。我们之前在基于国际规范的模拟居家环境中收集了数据。但是,为了记录更多与航位推算精度直接相关的测试数据,我们在一个更简单、更小环境中对更多的方向变化进行了测试。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了