广告

AI时代,CPU、GPU是如何感觉到关键的信息?

2021-03-18 李晋 阅读:
在AI+IoT时代中,越来越多的机器视觉应用需要智能终端对信息做出精准且快速的采集与处理。而图像传感器就像是机器的“眼睛”,赋予了机器感知时间的能力。CPU和GPU的处理能力远超人脑和人眼,现在很多图像的处理通过AI的CPU、GPU来实现,能够精准抓拍到物体在高速运动时不变形的图像非常关键。

“在人工智能(AI)时代,我们做的很多决策、处理,都通过机器来实现。这些CPU、GPU是怎么看待世界的?该如何让它们感觉到关键的信息?实际上,这是图像传感器应该做的事情。”在ASPENCORE 3月18日举办的2021年中国IC领袖峰会上,思特威(上海)电子科技股份有限公司副总经理欧阳坚针对图像传感器在机器视觉领域的应用做了精彩分享。XNmednc

“2021年中国IC领袖峰会正在直播中,点击以下链接可在线观看!https://www.eet-china.com/ee-live/Aspencore_20210318.htmlXNmednc

图像传感器在机器视觉领域的应用

在AI+IoT时代中,越来越多的机器视觉应用需要智能终端对信息做出精准且快速的采集与处理。而图像传感器就像是机器的“眼睛”,赋予了机器感知时间的能力。XNmednc

CPU和GPU的处理能力远超人脑和人眼,现在很多图像的处理通过AI的CPU、GPU来实现,能够精准抓拍到物体在高速运动时不变形的图像非常关键。比如,机器在运转过程中可达到每秒500至1000帧的帧速率,在人眼无法快速辨别每一帧图像时,机器却能迅速识别物体并找到物体,从而进行快速、自动化操作。又如,家用扫地机器人在打扫房间时能智能地避开障碍物,它利用了机器视觉技术,对房间的布局做出精准判断。XNmednc

XNmednc

另外,在复杂的环境下,大家可以通过摄像头来实现人脸支付。这个应用要求保持高度的安全,需要图像处理做得非常精细。还有,在智能车载领域,无论是ADAS、巡车记录,还是高速智能交通监管,它们都对车辆的监控和抓拍提出了很大的诉求。XNmednc

XNmednc

针对以上多种应用,都对图片处理技术提出了要求。欧阳坚表示,基于这种市场需求,思特威推出了Global shutter传感器以及SmartGS®系列Global shutter图像传感器。XNmednc

适用高速运动场景的Global shutter系列传感器

根据欧阳坚的介绍,最初Global shutter传感器的应用场景并不多。“我们有一个简单的逻辑,就是要抓拍高速运动的物体。因此,当时的应用场景主要落在智能避障上。但随着我们的合作伙伴及生态链的应用案例越来越多,Global shutter系列传感器拓展出了更多的新应用,其中包括了智能教育应用,类似于智能翻译笔。”XNmednc

当然,现在Global shutter系列传感器最大的应用场景无人机。无人机在高速运转过程中,若操作不当可能会撞到障碍物或者“炸机”。从去年开始,一家头部无人机企业的全系列无人机都配备了智能避障功能,其无人机上使用的智能避障传感器,大多数是来自思特威。XNmednc

除了智能避障应用以外,Global shutter传感器还应用在公共安全领域,比如作为驾驶员的智能管理系统DMS来应用,监测驾驶员是否疲劳驾驶、有无分心。欧阳坚还补充说:“现在常用的无人机一般会用双目解决方案,但是无人机运行时会有前后左右上下八个方向,这八个方向至少需要用到八个传感器。一台高端无人机甚至会标配12个带智能全局曝光传感器,因此该产品的应用领域非常宽泛。”XNmednc

XNmednc

Global shutter的全局曝光成像技术具备非常多的优势。欧阳坚称,普通CIS在高速运动场景中,采用Rolling shutter的曝光方式,逐行进行扫描,最后拼接一幅图。在这个过程中存在一个时延,会出现果冻效应,最终出来的成图效果是变形的。机器视觉AI芯片无法正确识别这样的图片,也无法识别图片里面的文字。XNmednc

Global shutter全局曝光产品最大的特点是——第一,能高速抓拍运动的物体,无形变、无拖尾;第二,Global shutter是基于BSI(背照式)工艺。“感光效果好的智能手机所用的图像传感器一般基于BSI工艺。不过,全局曝光跟BIS工艺的融合有很大的难度。截至目前为止,我们是全球率先实现了基于BSI工艺的全局曝光技术的公司之一,友商主要是基于FSI(前照式)工艺实现的。”欧阳坚自豪地表示。XNmednc

适用于交通领域的SmartGS®高速摄像头

XNmednc

欧阳坚还展示了SmartGS®高速摄像头汽车山路场景中的图片。他解释说,在80-90米远就可清楚看到车牌细节,能帮助人脸识别抓取到所有的信息。快度抓拍时如果不采用全局曝光,最终呈现的效果会有打折扣。采用SmartGS®高速摄像头拍出来的视频,在16倍慢放时汽车的车轮都没有形变。视频中任何一张图抓取出来,交给机器视觉和AI识别,都不会造成误判。XNmednc

值得注意的是,夜间拍照经常会遇到明、暗两种不同的环境,这要求拍照时做到噪声读取控制得足够好且感光度足够高。不需要的噪声全部滤掉,还能感受到足够多的光线,让亮的场景不要过曝,暗的场景保持细节。XNmednc

在交通领域,红绿灯是高频闪烁的LED灯,如果不对高频闪烁的频率做处理,抓拍到的信息会残缺不全。欧阳坚介绍称,思特威的产品可针对不同区域,做不同程度的曝光和中央处理,从而实现分区处理的效果。XNmednc

SmartGS®高速摄像头还支持多个车道抓拍,能显著降低系统成本。“友商的同类摄像机可能只支持单车道抓拍,会造成整个系统成本非常高。”欧阳坚还透露,昨天(3月17日)该产品刚正式发布,紧接着马上会进入量产阶段。XNmednc

XNmednc

除此之外,思特威还可提供多种HDR解决方案。欧阳坚透露说:“这些方案可避免红绿灯的过曝,能帮助机器快速识别物体。这些产品是我们过去半年推出的一个最新的技术,未来我们还会研发新一代的产品,以提供更高分辨率、更高像素的解决方案。”XNmednc

责编:DemiXNmednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 意法半导体先进的MEMS传感器助您开启Onlife时代 ST第三代技术提高准确度和能效,附加功能包括边缘机器学习和静电感测
  • “中国IC设计成就奖”提名产品简介:艾为触觉反馈驱动AW AW86224是一款具有F0检测与追踪,内置SRAM波形空间,低功耗、小尺寸的常压线性马达驱动IC
  • “中国IC设计成就奖”提名产品简介:汽车级高性能可编程 CHA611是意瑞于2019年推出的汽车级可编程线性霍尔芯片,支持 5V 单电源供电,120 kHz带宽,响应时间约2us,支持灵敏度0.8 mV/Gs~ 24 mV/Gs范围内可编程。该产品在全温-40℃~150℃范围内可实现 1% 精度,且芯片出厂前已完成静态(零电流)输出电压的校准,并已通过AEC-Q100认证。
  • “中国IC设计成就奖”提名产品简介:MHA101霍尔开关传感 MHA101KN是一款全极的霍尔开关传感器,采用的是DFN1014封装(1.0x1.4mm 4-pin)。具有超低功耗,磁滞窗口小,磁场感应灵敏度高,一致性好,支持丰富的封装方式等优势。主要应用在智能手机、可穿戴(TWS及充电仓)、家电等领域。该产品已于2021年1月量产,出货量10 Mu/月,累计营收2千万人民币。
  • “中国IC设计成就奖”提名产品简介:温度湿度二合一传感 CHT8305是高精度数字温度湿度二合一传感器,其温度分辨率可达0.03125℃,具有±0.5℃的高精度,湿度分辨率可达0.02%RH。可覆盖宽电压范围至1.35V - 5.5V的应用,在3.3V电源下每秒采集一次温湿度数据时,平均工作电流仅为1.0uA(Typ.);在待机模式下,电流消耗为35nA(Typ.)…
  • “中国IC设计成就奖”提名产品简介:防水气压计MSPC110- 防水气压计产品采用独特的LGA封装形式,该封装形式经过敏芯其它产品线的长期验证,稳定可靠。防水气压计产品覆盖更多的压力量程,不仅可以进行大气压力测量,同时也可以利用液位深度与压力的线性关系,进行深度测量。介质隔离的防水胶,实现压力传递的同时,也可以保护器件免受海水腐蚀,适用于可穿戴产品,比如手环、手表。其中MEMS压力传感器采用先进的离子注入工艺和敏芯股份独有专利技术的SENSA工艺,SENSA工艺在保证产品长期稳定可靠的同时,实现较低的成本。器件内部集成有24-bit Sigma-Delta ADC、OTP存储器及I2C/SPI通信接口,外部MCU通过I2C/SPI通信接口,读取ADC转换后的数据,同时读取OTP里面存储的器件校准参数,通过特定的校准公式,可以计算出当前的压力值(Pa),或者高度、液位深度。
  • “中国IC设计成就奖”提名产品简介:心电传感器芯片CN12 曦成半导体聚焦于大健康领域,为客户提供生理检测监测芯片及解决方案。依托自主研发的核心技术,开发出可检测心电、肌电、脑电等重要生理信号的两款医疗级传感芯片,正在量产出货。集成度和功耗方面具有核心竞争优势,同时噪声、抗干扰等方面也达到国内外领先水平。
  • “中国IC设计成就奖”提名产品简介:GNSS高精度基带射频 启梦MXT2708A是梦芯科技基于自主知识产权研发的高精度基带射频一体化芯片。梦芯科技自研的宽带射频技术,使得芯片可以支持所有已部署的全球卫星导航系统,同时首创性的实现了单芯片同时接收三系统卫星信号,从而有效提升定位性能,包括灵敏度、首次定位时间、定位精度等;该芯片具备多系统兼容、高灵敏度、高精度、抗干扰等特点;支持多系统多频率联合定位,支持辅助快速定位和差分数据增强,能够在复杂应用环境中快速精确定位,为用户提供完美的位置服务体验。
  • “中国IC设计成就奖”提名产品简介:基于CMOS+MEMS技术 以下5项维度,向电子工程师和评审专家详细介绍中科银河芯的温湿度传感器芯片产品的技术创新情况。
  • “中国IC设计成就奖”提名产品简介:车规级MEMS压差传感 纳芯微NSP183x系列是一款基于高灵敏度的单晶硅压阻效应,并采用先进的MEMS微加工工艺制造而成符合AEC-Q103可靠性标准的汽车级MEMS压差传感器,生命周期内精度和稳定性优于1%FS;其制造平台经过IAFTF16949认证,每片晶圆都通过100% AOI检测,并提供用于封装的Map。还有采用贵金属双焊盘结构设计和稳定性增强的屏蔽层技术的NSP1832,符合汽车级Grade 0标准,特别适合于汽车尾气处理、燃油蒸汽压力测量等恶劣环境。
  • “中国IC设计成就奖”提名产品简介:集成电流路径霍尔传 纳芯微NSM201X系列产品主要基于霍尔效应原理,采用隔离的方式将±65A以内的电流转换成线性电压输出,适用于多种隔离电流采样场合,如光伏组串式逆变器DC输入侧MPPT(最大功率点)跟踪的电流检测、工业变频器件中作母线电流及各桥臂电流采样、UPS及服务器电源,充电桩中的隔离电流采样。此外,AEC-100正在认证中,该认证使其可用于新能源汽车OBC(On board charger)的隔离电流采样,空调热管理系统中PTC加热器的隔离电流采样等。NSM201X系列具备高灵敏度,低零点误差及良好的线性度(非线性度正负0.2%)等特性,能够降低器件的整体输出误差,在工作温度范围内,最大测量误差±1.5%。产品目前已经通过UL62368、IEC62368、TUV等认证。
  • “中国IC设计成就奖”提名产品简介:晶圆级微机电铸造技 我们开发的这项技术叫晶圆级微机电铸造技术,将宏观的铸造通过微纳原理缩小一百万倍,在晶圆上实现铸造。这是一项全新的独创性技术。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了