广告

AI时代,CPU、GPU是如何感觉到关键的信息?

2021-03-18 22:24:31 李晋 阅读:
在AI+IoT时代中,越来越多的机器视觉应用需要智能终端对信息做出精准且快速的采集与处理。而图像传感器就像是机器的“眼睛”,赋予了机器感知时间的能力。CPU和GPU的处理能力远超人脑和人眼,现在很多图像的处理通过AI的CPU、GPU来实现,能够精准抓拍到物体在高速运动时不变形的图像非常关键。

“在人工智能(AI)时代,我们做的很多决策、处理,都通过机器来实现。这些CPU、GPU是怎么看待世界的?该如何让它们感觉到关键的信息?实际上,这是图像传感器应该做的事情。”在ASPENCORE 3月18日举办的2021年中国IC领袖峰会上,思特威(上海)电子科技股份有限公司副总经理欧阳坚针对图像传感器在机器视觉领域的应用做了精彩分享。j8Tednc

“2021年中国IC领袖峰会正在直播中,点击以下链接可在线观看!https://www.eet-china.com/ee-live/Aspencore_20210318.htmlj8Tednc

图像传感器在机器视觉领域的应用

在AI+IoT时代中,越来越多的机器视觉应用需要智能终端对信息做出精准且快速的采集与处理。而图像传感器就像是机器的“眼睛”,赋予了机器感知时间的能力。j8Tednc

CPU和GPU的处理能力远超人脑和人眼,现在很多图像的处理通过AI的CPU、GPU来实现,能够精准抓拍到物体在高速运动时不变形的图像非常关键。比如,机器在运转过程中可达到每秒500至1000帧的帧速率,在人眼无法快速辨别每一帧图像时,机器却能迅速识别物体并找到物体,从而进行快速、自动化操作。又如,家用扫地机器人在打扫房间时能智能地避开障碍物,它利用了机器视觉技术,对房间的布局做出精准判断。j8Tednc

j8Tednc

另外,在复杂的环境下,大家可以通过摄像头来实现人脸支付。这个应用要求保持高度的安全,需要图像处理做得非常精细。还有,在智能车载领域,无论是ADAS、巡车记录,还是高速智能交通监管,它们都对车辆的监控和抓拍提出了很大的诉求。j8Tednc

j8Tednc

针对以上多种应用,都对图片处理技术提出了要求。欧阳坚表示,基于这种市场需求,思特威推出了Global shutter传感器以及SmartGS®系列Global shutter图像传感器。j8Tednc

适用高速运动场景的Global shutter系列传感器

根据欧阳坚的介绍,最初Global shutter传感器的应用场景并不多。“我们有一个简单的逻辑,就是要抓拍高速运动的物体。因此,当时的应用场景主要落在智能避障上。但随着我们的合作伙伴及生态链的应用案例越来越多,Global shutter系列传感器拓展出了更多的新应用,其中包括了智能教育应用,类似于智能翻译笔。”j8Tednc

当然,现在Global shutter系列传感器最大的应用场景无人机。无人机在高速运转过程中,若操作不当可能会撞到障碍物或者“炸机”。从去年开始,一家头部无人机企业的全系列无人机都配备了智能避障功能,其无人机上使用的智能避障传感器,大多数是来自思特威。j8Tednc

除了智能避障应用以外,Global shutter传感器还应用在公共安全领域,比如作为驾驶员的智能管理系统DMS来应用,监测驾驶员是否疲劳驾驶、有无分心。欧阳坚还补充说:“现在常用的无人机一般会用双目解决方案,但是无人机运行时会有前后左右上下八个方向,这八个方向至少需要用到八个传感器。一台高端无人机甚至会标配12个带智能全局曝光传感器,因此该产品的应用领域非常宽泛。”j8Tednc

j8Tednc

Global shutter的全局曝光成像技术具备非常多的优势。欧阳坚称,普通CIS在高速运动场景中,采用Rolling shutter的曝光方式,逐行进行扫描,最后拼接一幅图。在这个过程中存在一个时延,会出现果冻效应,最终出来的成图效果是变形的。机器视觉AI芯片无法正确识别这样的图片,也无法识别图片里面的文字。j8Tednc

Global shutter全局曝光产品最大的特点是——第一,能高速抓拍运动的物体,无形变、无拖尾;第二,Global shutter是基于BSI(背照式)工艺。“感光效果好的智能手机所用的图像传感器一般基于BSI工艺。不过,全局曝光跟BIS工艺的融合有很大的难度。截至目前为止,我们是全球率先实现了基于BSI工艺的全局曝光技术的公司之一,友商主要是基于FSI(前照式)工艺实现的。”欧阳坚自豪地表示。j8Tednc

适用于交通领域的SmartGS®高速摄像头

j8Tednc

欧阳坚还展示了SmartGS®高速摄像头汽车山路场景中的图片。他解释说,在80-90米远就可清楚看到车牌细节,能帮助人脸识别抓取到所有的信息。快度抓拍时如果不采用全局曝光,最终呈现的效果会有打折扣。采用SmartGS®高速摄像头拍出来的视频,在16倍慢放时汽车的车轮都没有形变。视频中任何一张图抓取出来,交给机器视觉和AI识别,都不会造成误判。j8Tednc

值得注意的是,夜间拍照经常会遇到明、暗两种不同的环境,这要求拍照时做到噪声读取控制得足够好且感光度足够高。不需要的噪声全部滤掉,还能感受到足够多的光线,让亮的场景不要过曝,暗的场景保持细节。j8Tednc

在交通领域,红绿灯是高频闪烁的LED灯,如果不对高频闪烁的频率做处理,抓拍到的信息会残缺不全。欧阳坚介绍称,思特威的产品可针对不同区域,做不同程度的曝光和中央处理,从而实现分区处理的效果。j8Tednc

SmartGS®高速摄像头还支持多个车道抓拍,能显著降低系统成本。“友商的同类摄像机可能只支持单车道抓拍,会造成整个系统成本非常高。”欧阳坚还透露,昨天(3月17日)该产品刚正式发布,紧接着马上会进入量产阶段。j8Tednc

j8Tednc

除此之外,思特威还可提供多种HDR解决方案。欧阳坚透露说:“这些方案可避免红绿灯的过曝,能帮助机器快速识别物体。这些产品是我们过去半年推出的一个最新的技术,未来我们还会研发新一代的产品,以提供更高分辨率、更高像素的解决方案。”j8Tednc

责编:Demij8Tednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 如何大幅提高物联网设备的电池能效 本文探讨了如何使物联网(IoT)设备更加节能。在重点介绍毫微功耗运输模式和睡眠模式的关键作用之前,快速回顾了电池管理。 最后,提供了一种新的解决方案,与传统方法相比,它可以更好地优化电池管理的这两个方面,从而降低功耗水平和电路板空间。
  • Teledyne e2v发布150万像素的统包式光学模组Optimom,用 Teledyne Technologies 集团旗下公司 Teledyne e2v 宣布推出 Optimom™ 系列最新产品 Optimom 1.5M,这一系列全新统包式光学模组可直接集成到视觉系统中。
  • 压电致动器的原理、选择和设计指南 压电致动器是一种利用反向压电效应通过施加电压产生位移的元件,可以为熟悉的电磁设备(如电机和螺线管)提供替代方案。它们具有更高的可靠性、更低的功耗、更小的尺寸和更高的位置分辨率等优点。
  • Vishay推出升级版红外接收器,降低供电电流,提高抗ESD和 增强型TSOP2xxx、TSOP4xxx、TSOP57xxx、TSOP6xxx和 TSOP77xxx系列器件采用新一代控制IC提高光性能
  • 利用Espruino Pico设计热报警器 在本文中,我们利用Espruino Pico设计了一个简单的热传感器,它能够在超过特定温度时触发报警器并驱动更强大的负载。通过修改代码,还可以创建高效的“窗口热控制”。
  • 中国芯发展新模式:在高质量、高增长内需中发现机会并建 集成电路产业从诞生开始历来都是全球化和生态化的行业。全球化是为了摊销其高额的研发费用和制造成本,以及不低的市场营销(试错)支出;而生态化是因为芯片行业本身并不面向最终用户,全球电子制造产业链和最重要的消费市场与芯片产业发展密切相关。
  • 思特威推出全新5MP DSI-2技术全性能升级SC系列图像传 2023年2月27日, 思特威(上海)电子科技股份有限公司(股票简称:思特威,股票代码:688213),正式推出业界首颗5MP DSI-2技术全性能升级Pro系列安防应用图像传感器新品SC5336P。新品拥有3K级的清晰画质,既是思特威安防应用全性能升级Pro系列的又一力作,也是业界首颗搭载DSI-2技术的3K级图像传感器。
  • Galaxy Watch5系列搭载Melexis温度传感器芯片,引入生 2023年2月22日,全球微电子工程公司Melexis今日宣布,为三星Galaxy Watch5和Galaxy Watch5 Pro提供其独特的温度传感器芯片MLX90632。该产品提供的非接触式温度测量具有更高的精准度,可以跟踪生理周期。可靠的连续温度监测性能在运动、健康监测设备和其他领域开辟了广泛的新应用。
  • iJoy的Chase人脸/物体追踪设备:不是机器人或三脚架 减少设备BOM的一种常见方法,是将所需的总处理和内存等资源尽可能多地卸载到其他所连接的设备。“云”服务器是一种常见的方法,但它有明显的缺点,也需要从设备供应商和购买者等方面进行考虑。另一种流行的BOM精简方法,涉及利用具有丰富处理、存储和成像等资源的有线或无线(更为常见)本地设备,例如智能手机或平板电脑。iJoy的Chase是后一种方法的一个典型案例研究。
  • KST3420 和 KST3220用ST 的 FlightSenseToF传感器和ST KST3420 和 KST3220 是 ST 合作伙伴计划授权成员 KS Technologies(又称 KST)公司开发的测距传感器,也是 ST 飞行时间传感器的一个应用研究案例。在过去的四年里,这家产品制造和工程服务公司在多个国家部署了数千个各种用途的测距传感器下面,让我们来探讨 KST的故事,并学习他们的经验。
  • Teledyne用于360°高精度全景成像的新型相机Ladybug6 Teledyne FLIR很高兴地宣布,其全新的Ladybug6 360°全景相机现已全面投入生产。
  • 美新半导体发布新款AMR地磁传感器MMC5616WA,全新升级,满 美新半导体发布新款AMR地磁传感器MMC5616WA, 全新升级了美新大规模量产的超小尺寸AMR地磁传感器MMC56x3系列,满足包括智能手机、可穿戴设备、无人机,AR/VR等在内的丰富应用场景。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了