广告

深度相机三维信息成智能识别算法应用的关键

2020-08-07 赵明灿 阅读:
去年有新闻讲,小学生发现丰巢刷脸取件bug,用照片就能刷开快递柜!官方紧急下线。2D成像的缺陷是,相机成像的过程是3D到2D的投影,会丢失场景的三维信息。三维信息的缺失,限制了智能算法的应用。

去年有个新闻讲,小学生发现丰巢刷脸取件bug,用照片就能刷开快递柜!官方紧急下线。“2D成像的缺陷是,相机成像的过程是3D到2D的投影,会丢失场景的三维信息。三维信息的缺失,限制了智能算法的应用。”奥比中光研究院研究员徐玉华在ASPENCORE举办的第二届(2020)国际电子产业链资源对接大会上在发表“深度相机十年:历史、现状和未来”主题演讲时强调。TzAednc

TzAednc

他表示,3D视觉感知的任务,是从相机捕捉的2D图像恢复场景的三维结构,为智能识别、检测、定位、测量、AR、机器人导航等应用提供三维信息。TzAednc

深度相机的分类及基本原理

据介绍,深度相机分为三个类别:结构光、双目视觉、飞行时间法(ToF)。TzAednc

“深度感知的基本原理是,三维点投影过来的过程是唯一、确定的。如果只给定一个像素的话,反投影回去,可以得到一条射线,场景的深度、距离是不确定的。如果有两台摄像机的话,给定其中一个相机中的像素点,另外一个相机只要找到同名点,通过交汇就可以确定出目标点的三维信息,从而恢复出深度信息。”徐玉华介绍说。TzAednc

TzAednc

双目测距

双目测距的核心在于找到对应点。像人眼一样,两只眼睛看的内容实际上是不一样的,里面会有视差,核心在于通过立体匹配算法建立两幅图片中的像素点的对应关系。TzAednc

TzAednc

编码结构光

下图是编码结构光的一个示例,左边是人脸的三维散斑,右边是呈现出的三维人脸。好处是目标表面增加了很多的斑点纹理,重建起来的可靠性和精度都可以得到大幅度的提高。TzAednc

TzAednc

飞行时间法

飞行时间法则是通过直接或间接测量光线的飞行时间,来测算距离的。TzAednc

TzAednc

深度相机发展简史

下面来了解一下深度相机的历史。TzAednc

2010年以前的深度相机成本高,精度也不高,通常用于实验室中的研究,和老百姓的生活没什么关系。2010年这个情况开始发生变化:TzAednc

  • 2010年6月,微软发布XBOX360,其结构光深度感知硬件Kinect(PrimeSense)能够以30fps的帧率输出场景的深度图像,从此深度感知技术走出了实验室,进入了大众生活。
  • 2013年,PrimeSense被苹果收购。
  • 2014年,微软发布Kinect V2(ToF,512 x 424)。
  • 2016年6月,联想和Google合作的全球第一款使用Project Tango技术的AR手机发布(Phab2 Pro)。Project Tango是谷歌2014年推出的第一个大型AR项目,2018年3月终止。
  • 2017年9月,搭载结构光3D传感器的iPhoneX发布,揭开了3D传感器在手机上大规模应用的序幕。
  • 2018年,Oppo FindX搭载了奥比中光的结构光深度传感器(640x480)。
  • 2019年,微软发布Kinect Azure(1024x1024);华为手机P30 Pro,Sony iTOF(240*180)。
  • 2020年,苹果ipad pro 11,dTOF(24x24),用于AR。

深度感知方法比较

双目相机的精度不大可控。因为是依赖于场景的纹理,场景纹理越丰富,双目的精准性就越高,而如果拍一些光溜溜的白墙,精度就不行。TzAednc

结构光和TOF都是主动测距方法,精度比较高。对结构光来说,在近距离情况下,比如苹果手机用的刷脸,其精度会比TOF高。结构光还是三角测距法,TOF没有这个问题。iTOF也有多路径的效应。双目的测量距离可以测到100米、几百米,不受距离的限制。TzAednc

TzAednc

被动双目的进展

从下图可以看到,对于英特尔的传感器,采用传统双目算法,纹理不丰富的区域效果很差,而用神经网络的方法得到的结果非常漂亮。深度学习算法在深度路径方面取得了成功。TzAednc

TzAednc

产业应用情况

下面几个数字对产业来说很有意义。TzAednc

  • Kinect(体感游戏)推出以后,其销售量达到3500万+套。
  • FaceID,由苹果iPhone X引领,搭载3D传感器的手机超过1亿台。
  • 目前,支付宝和微信都在布局线下刷脸支付,已过百万台量级的规模,未来几年会到千万级别。
  • RGB+IR+depth的人脸识别,比单纯的RGB人脸识别,1:N的比对上,N可以提升30倍,不仅只用于活体检测。
  • RGB+D,对骨架检测、行为识别算法也会有显著提升(约10%)。
  • 机器人SLAM,包括各类汽车上的激光雷达,在快速增长。

奥比中光与3D感知

奥比中光于2018年获评“独角兽”企业,今年荣获广东省科技进步一等奖。该公司于2013年成立,发展速度比较快。TzAednc

TzAednc

奥比中光的3D感知技术,应用领域比较多,包括移动终端、智慧零售、数字家庭、智能服务、智能制造、智能安防、智能交通、智慧政务。TzAednc

TzAednc

下图是魅族3D深感传感器,可以做硬件级人像虚化、AR尺子、AR夜视仪。TzAednc

TzAednc

支付宝的刷脸支付/奥比中光3D刷脸支付解决方案,应用已有数百个城市。现在深圳坐地铁是刷二维码,而如果以后刷脸能普及的话,减少人流拥堵的效果就更好。TzAednc

TzAednc

下面是门锁。“拎着一大包东西还得把手指掏出来刷指纹,有刷脸的门锁更方便。”徐玉华举例道。TzAednc

TzAednc

贝壳如视VR看房,360扫地机器人自主免障,京东智慧物流,可以直接录入到系统提高效率。TzAednc

TzAednc

还有很多有趣的应用,例如刷脸和医保卡绑定就是之一。TzAednc

TzAednc

单相机的动态人体重建系统,买衣服只要直接转一下体型就出来了,穿什么型号的衣服就出来了,很方便。TzAednc

TzAednc

展望未来

结构光、双目和TOF技术属于不同的流派、不同的技术。这三者优势互补,不是替代关系,而是长期并存的。TzAednc

这两年dTOF技术正在快速发展。TzAednc

3D感知技术应用在多个领域已经崛起(3D人脸识别、场景建模、手机AR、AR眼镜、机器人定位/导航、物流、自动驾驶/辅助驾驶等),并在迅速扩大到其他领域,包括人脸形貌、脚型、人体三维重建, AR平行世界等。TzAednc

奥比中光将致力于全方位深耕3D感知技术,包括结构光、双目、iTOF/dTOF,从底层Sensor、芯片设计,到光学、算法、系统优化。TzAednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
赵明灿
赵明灿是EDN China的产业分析师/技术编辑。他在电子行业拥有10多年的从业经验。在加入ASPENCORE之前,他曾在电源和智能电表等领域担任过4年的工程师。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • Microchip模拟嵌入式SuperFlash技术助力存算一体创新 SuperFlash memBrain存储器解决方案使知存科技片上系统(SoC)能够满足最苛刻的神经处理成本、功耗和性能要求
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • “中国IC设计成就奖”提名产品简介:高性能GPU芯片及解 沐曦致力于提供国际顶尖的高性能通用GPU芯片及解决方案,结合我国人工智能等领域对GPU芯片的强烈市场需求,对标当前国际领先的GPU芯片产品立项开展技术研发。
  • “中国IC设计成就奖”提名产品简介:全志科技高性能智能 高性能三重异构智能语音应用处理器R329芯片,采用业界先进的半导体工艺,首款集成Arm中国周易语音处理器。集成DSP、NPU、64位CPU及丰富的外设接口,创新突破了低功耗、边缘语音AI超级算力、多重异构通讯、多核调度等关键技术,处于国内领先水平。
  • “中国IC设计成就奖”提名产品简介:追萤3D AI芯片Ai310 埃瓦科技自主研发的追萤 3D AI芯片创新的采用了异构架构 SOC 设计和微内核架构设计,包含 NPU 神经网络加速核、3D 立体匹配加速核、ISP 核等功能性处理核心;其中 NPU 神经网络加速核基于可重构以及片上多级存储和缓存设计,使数据可高效送达加速核心,使该芯片拥有领先的高效智能处理能力、分析以及低功耗管理的能力;其设计架构的资源复用性使硬件计算单位可灵活分配,适应于不同场景的计算需求;在 3D 视觉算法加速方面创新的采用了自研立体匹配算法的 3D 加速微内核架构设计,可有效加速双目立体视觉、结构光等多种 3D 视觉算法。
  • “中国IC设计成就奖”提名产品简介:ada200优势 1.九天睿芯,感存算一体芯片,可以在功耗和性能满足”低功耗AI场景“的同时,成本也大幅度下降。2.采用模数混合的存内计算架构,ADA200相比传统数字芯片,1/3成本,1/10功耗。
  • “中国IC设计成就奖”提名产品简介:面向边缘视觉分析的 面向边缘视觉分析的数据流AI芯片CAISA是鲲云科技自主研发的专为人工智能图像提供高性能计算加速的AI芯片产品,是全球首个量产的数据流AI芯片。
  • “中国IC设计成就奖”提名产品简介:人工智能语音芯片CI 1、人工神经网络硬件引擎架构:具备高计算性能,进行神经网络计算时相当于数十个CPU并行计算的能力;低访问带宽和低功耗,通过并行计算和共用神经元权重参数,大幅降低访问带宽及功耗;高可配置性,支持神经元层数和节点数、神经网络结构的配置。 2、单、双、及麦克风阵列降噪增强技术:支持各种平稳、非平稳环境噪声抑制;可支持线阵、圆阵结构等常用麦阵结构;采用定向波束形成与自适应信号处理技术相结合;拾取方向动态可调;支持单声道、立体声等回声抑制;采用独立研发的空间预测技术,支持强回声情况下回声抑制;与降噪处理技术相结合;自动增益调节、高通、带通滤波等。 3、低功耗和可靠性设计技术:具备低功耗集成电路设计技术,包括基于活动语音检测的低功耗控制技术和时钟门控技术。 4、逻辑设计技术:掌握了语音信号处理IP的设计方法,包括算法硬件化、定点、浮点运算处理等。同时积累了整套SoC设计所需的控制类IP,并成功通过流片验证。
  • “中国IC设计成就奖”提名产品简介:智能安防AI SoC芯片 亿智SV826是2021年推出的高性能的安防AI SoC芯片,主要面向视频编解码AI摄像机产品。
  • “中国IC设计成就奖”提名产品简介:低功耗视觉AIoT SoC 亿智SH516芯片是亿智电子2021年推出的一款低功耗的智能视觉AIoT SoC芯片。
  • “中国IC设计成就奖”提名产品简介:高性能大算力全场景 - AI性能跑分更强,超越Nvidia Orin - 应用当前先进的安全技术和研发流程 - 国内唯一可获得、支持快速量产的整车智能计算平台芯片
  • “中国IC设计成就奖”提名产品简介:高端AIoT芯片RV1126 RK3568是瑞芯微的高端AIoT芯片。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了