向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

Global Shutter为AI点睛

时间:2018-10-23 作者:思特威(SmartSens Technology) 阅读:
Camera sensor就像机器的眼睛,为机器感知周围的世界。Camera sensor的拍照效果,跟很多参数有关,曝光时间是图像传感器其中一个重要的参数,而快门速度则会影响到Camera sensor的曝光时间。

前言

AI(人工智能),是目前科技行业最火的话题。从Alpha Go战胜围棋世界冠军柯洁,到德勤与Kira Systems联手,将AI引入会计、税务、审计等财务工作领域,可以看出,AI离我们的生活越来越近了。PLEednc

AI到底能做什么,每个人都有自己的看法,大家对AI有着非常多的期待,期待AI能够解放人类双手,提高人类的工作效率。但不管怎么样,大家都希望AI可以让机器像人一样思考学习,像人一样听懂语音识别,像人一样控制运动,像人一样进行视觉识别,用机器实现目前所有必须借助人类智慧才能实现的任务。PLEednc

在AI技术里,人工神经网络非常关键。在人工神经网络模型中,其结构分为输入层,隐藏层和输出层(如下图)PLEednc

globalshutterforai-1.pngPLEednc

PLEednc

而作为AI的输入,目前主要是通过视觉输入和语音输入。为了让机器像人一样进行视觉识别,目前最重要的器件就是Camera sensor。Camera sensor就像机器的眼睛,为机器感知周围的世界。Camera sensor的拍照效果,跟很多参数有关,曝光时间是图像传感器其中一个重要的参数,而快门速度则会影响到Camera sensor的曝光时间。PLEednc

那什么是快门呢?

快门主要用来控制摄像头传感器的有效曝光时间。一般而言快门的时间范围越大越好。若想抓到急速移动的物体,就需要快门速度越快越好。而若需要看到夜晚的车水马龙,就需要快门时间越长越好。PLEednc

目前主要有两种曝光Shutter技术:Rolling Shutter和Global Shutter

Rolling Shutter:

Rolling Shutter的sensor的曝光是按照逐行曝光的方式实现。在曝光开始的时候,Sensor逐行扫描逐行进行曝光,直至所有像素点都被曝光。当然,所有的动作在极短的时间内完成。不同行像元的曝光时间不同。PLEednc

globalshutterforai-2.pngPLEednc

(图片来源于网络)PLEednc

Global Shutter:

与Rolling Shutter不同,是整幅画面同一时间曝光实现。摄像头传感器sensor的所有像素点同一时间感应光线,同时曝光。Sensor读出的是同一时间的同一画面。PLEednc

PLEednc

globalshutterforai-3.pngPLEednc

(图片来源于网络)PLEednc

下面有两张图可以介绍这两种技术:PLEednc

PLEednc

PLEednc

globalshutterforai-4.pngPLEednc

globalshutterforai-5.pngPLEednc

(图片来源于网络)PLEednc

左边的图是Rolling shutter的曝光方式,逐行扫描。而右面的图则是Global Shutter的曝光方式,所有像素点一起曝光。PLEednc

在拍照的时候,Rolling Shutter成像过程如下图:PLEednc

左边,是一个常见的场景(上面风扇,下面小汽车),Rolling Shutter对它进行逐行扫描,成像结果如右图。面对一个运动中的物体,Rolling Shutter是一行一行曝光,采集画面,所以形变非常严重。而Global Shutter是所有像素同时曝光,所以不会产生此形变。PLEednc

PLEednc

globalshutterforai-6.pngPLEednc

(图片来源于网络)PLEednc

之所以Global Shutter能够做到全局曝光,跟Rolling Shutter相比,主要是Global Shutter在每一个像素上都增加了一个存储单元,才使得所有的像素能够同时曝光。PLEednc

PLEednc

globalshutterforai-7.pngPLEednc

同Rolling shutter相比,Global shutter的sensor可以很好的解决以下问题:PLEednc

1. 高速物体变形(左图是采用Global shutter技术的SmartSens SC132GS拍摄的图片,右图是Rolling shutter sensor拍摄的图片)。PLEednc

可以明显看出用Rolling shutter sensor拍摄高速运动的风扇,物体会变形。PLEednc

PLEednc

globalshutterforai-8.pngPLEednc

(图片来源于SmartSens)PLEednc

2. 明暗现象(左图是采用Global shutter技术的SC132GS拍摄的图片,右图是没有采用HDR技术拍摄的图片)PLEednc

在光线有明暗变化的时候,左图Global shutter sensor不会有明暗瑕疵,可以做到单帧HDR。PLEednc

PLEednc

globalshutterforai-9.jpgPLEednc

(图片来源于SmartSens)PLEednc

成像技术不停的演进,促进了AI的发展。通过AI,大数据和互联网技术,带动了智慧城市的建设。智能安防,智慧交通,智慧工厂,智慧商业,智能家居,都能看到Camera的身影。一般情况下,Rolling shutter技术就足够了,但若要捕捉高速运动物体,或在环境光条件不理想的情况下获取清晰图像的时候,使用Global Shutter技术,无疑会带来更好的效果。PLEednc

1. 智慧安防PLEednc

目前来看,AI最容易落地的就是安防领域。通过AI技术,将监控中的人准确无误的抓拍下来,可以最大化的实现监控目的。一般情况下,安防Camera主要抓拍的都是行人,都是慢速运动的物体,Rolling shutter sensor就可以胜任。但若通过Global shutter sensor,则可以在高速移动的拍摄场景中有效降低图像畸变,避免了抓拍时,人物或物体运动带来的斜坡晃动现象,以及人脸模糊的问题,从而提供更清晰的图像。因此在高速违章查处,卡口ETC等需要道路监控的地方,Global Shutter比Rolling Shutter更加胜任。PLEednc

2. 智慧交通PLEednc

为了让城市交通更加便利,疏导公共交通,智慧交通系统是解决交通发展瓶颈的有效手段之一。高速违章查处,卡口ETC,十字路口的道路监控,停车场的智能管理,道路流量监测,电子警察等都离不开成像技术。只有准确的成像信息,才能更加准确地判断当前的路况以及车辆的情况,才能更好地实现智慧交通。这个时候,Global shutter可以更好的助力智慧交通。PLEednc

为了实现智慧交通,从汽车角度来看,新型汽车都在从ADAS辅助驾驶向自动驾驶的方向演进。无论是辅助驾驶还是自动驾驶,汽车的中控芯片对sensor接收下来的图像信息要求越来越高。中控芯片需要sensor在车辆高速运动中,不仅提供没有变形的清晰图片,还需要提供周边物体与车辆的距离。而Global shutter sensor一方面可以避免车辆高速运动时,Rolling shutter sensor拍摄变形的问题,另外一方面,结合结构光技术(接收sensor是Global shutter的)或者双目摄像头(两个摄像头若都是Global shutter最好)技术,就可以提供更清晰的图像,以便于中控更加精准的计算出周边物体与车体的距离,判断当前的路况,判断交通灯的状况,才能使车辆行驶更加安全。PLEednc

PLEednc

globalshutterforai-10.pngPLEednc

(图片来源于网络)PLEednc

3. 智慧工厂PLEednc

由于Global shutter sensor可以清楚的还原高速运动中的物体的形态,有效避免Rolling shutter sensor担心图像质量而降低自动流水线的速度问题。所以大型工厂在检测,质量管控,机械臂操作,物流,测量等自动化生产时,使用Global shutter可以提高生产效率。PLEednc

4. 智慧商业PLEednc

随着支付宝,微信支付的发展,国内二维码支付变得非常流行。而对于店家来讲,扫码设备的需求也在增长。对于扫码设备来讲,若用Global shutter sensor可以使扫码设备的可识别区域变长,使用户拥有更优的体验感。PLEednc

PLEednc

globalshutterforai-11.pngPLEednc

(图片来源于SmartSens)PLEednc

5. 智能家居PLEednc

家用设备若要智能化,也需要Camera的帮忙。比如,扫地机器人。扫地机器人若想将屋内的空间测量出来或者识别前方是否有障碍物,都离不开Camera这只眼睛。同样,Global shutter则可以帮助扫地机器人更加精准的获得距离信息,使得扫地机器人更加智能化。PLEednc

虽然说Global Shutter有很多优势,但是也无法完全替代Rolling Shutter。Global shutter sensor适用于拍摄高速运动物体,或AI应用中基于机器视觉算法的智能感知技术(vSLAM/手势跟踪识别/光流等算法),Rolling Shutter sensor则适用于拍摄运动速度相对较慢的物体或场景,可获得更高的成像信噪比。而且由于Global shutter需要对每个像素都要增加一个存储单元,这样增加了sensor的生产难度以及成本。PLEednc

考虑到BSI在低照条件下的成像亮度和清晰度都比FSI有更大的优势,可以有效增加Global shutter sensor在应用场景上的拓展,适应性更广,SmartSens首创将BSI技术和Global shutter技术相结合,发布了多款基于BSI(背照式)的Global Shutter sensor产品。PLEednc

AI和IoT的发展,影响着人们的生活,甚至在改变人们的生活。而做为AI和IoT的眼睛,Camera sensor的技术发展也间接影响着AI和IoT的发展。SmartSens的理念是服务于应用技术的发展趋势,根据市场和应用技术的需求,将看清万物的“眼”做到极致。通过不断完善提升CMOS成像传感器的设计和制造能力,为AI和IoT点睛。PLEednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • MIT教授初创企业起诉Facebook,PyTorch核心加速技术被指 近日,一份起诉书成为了深度学习社区的热点话题:Facebook 从创业公司 Neural Magic 挖来的技术人员 Zlateski 重现了今天 PyTorch 上的关键神经网络加速技术并将其开源。因为这件事,Facebook 被告上了麻省法庭。
  • 利用AI绘制地图加强灾害防范 发展中国家的许多地区都缺乏最新的地图,这意味着在发生自然灾害或传染病时,救援组织难以有效开展工作。英特尔已开发出可以通过卫星图像识别地物的AI模型,并与红十字会紧密合作推进“地图补全”项目,为发展中国家绘制地图,以提高其防范灾害的能力。
  • 加速AI深度学习,BF16浮点格式应运而生 为了加速AI深度学习(DL)的效能,包括Google、英特尔和Arm等越来越多公司开始导入BF16,但这种新的浮点格式可能成为深度学习运算主流?
  • 国产特斯拉Model 3刚交付就被曝“减配门” 颇受中国消费者欢迎的国产特斯拉Model 3近日却陷入了消费者维权的风波中。
  • 2020:消费电子产品未来几年趋势预测 一年伊始,正是对未来做些预测的时候。作者对未来几年消费电子产品的发展趋势提出了自己的观点。他认为,深度学习、自动驾驶汽车、5G设备、处理器、电池等将会快速发展,其中深度学习会影响未来的许多应用,包括自动驾驶汽车、网络安全,甚至各国的选举。
  • 新芯片技术全面靠拢AI! 从Google TensorFlow、APU、NPU到BPU等专为AI而生的新型处理器,到小芯片以及多芯片封装,甚至是量子运算,在日前于ISSCC上揭露的先进芯片技术,无论对于电路设计还是AI都同样重要...
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告