从目前种种消息和传闻可以确定,苹果将为iPhone8前置一颗3D摄像头,ToF传感器由ST提供,摄像头由索尼定制,集成IR红外发射和接收模块采购自台湾供应链厂商,算法由PrimeSense和RealFace两家公司提供。

苹果让单结构光摄像头拥有双摄能力

据凯基证券的分析师郭明池最新发布的报告,新iphone的前3D相机模组可能包含3个模块,除既有前相机模块外,增加IR(不可见光)发射模块、与IR接收模块。郭明池预期此先进的3D前相机模组,将具备3D感测与3D建模能力。

其中,IR发射模块、IR接收模块构成俗称的结构光模组,负责收集深度信息,潜在应用包括脸部识别与虹膜识别等。IR发射模块中的VCSEL发射出波长约940nm的不可见光到物体与背景,再由IR接收模块中定制化的1.4MP CIS(黑白,非彩色)收集光信号的变化,并利用PrimeSense演算法计算物体位置与深度信息。其中,演算法将扮演最关键的角色。

001iphone820170222

前3D相机模组(整合前相机、IR发射模块、与IR接收模块)可用于3D建模。整合3D物体深度信息(来自IR发射模块、与IR接收模块)与2D平面彩色图像信息(来自前相机)可提供3D建模能力。

意味着iPhone8这套前置摄像头系统启用全功能的3D感测功能,将会融合景深信息和前置摄像头的2D图像并应用于脸部识别、虹膜识别和3D自拍等领域,单摄像头即可实现双摄像功能。

部分应用包括,带来更好的AR/VR体验,用户可以使用自拍,在游戏中使用前置摄像头扫描的自己的3D脸部图像让iPhone生成可在增强现实环境中使用的3D自拍照片,或者通过手势识别自动完成部分拍摄。

002iphone820170222

要完成这样一套3D拍摄+ToF算法+IR红外检测系统,做汽车摄像头系统方案的厂商看来是不是非常眼熟。对,这就是一套非常专业的汽车驾驶员辅助系统。

此前本刊有过专业报道,一套由科世达和英飞凌共同打造的先进辅助驾驶系统,只在2015年国际车展(IAA)上展示过一次,目前还未上市最快也要等到2018年,与iPhone8的3D摄像头有极高的相似度。

iPhone8还未发布,很难探寻其前置摄像头的工作原理。不过,我们却可以从这套汽车摄像头系统判断侧面分析一下。

这套系统能检测到驾驶员是否显示困倦、打瞌睡或注意力不集中迹象。汽车会立即做出响应,譬如,通过振动座椅或警告音。驾驶员注意力越不集中,汽车就越会提起注意。为了快速和准确地做出响应,辅助系统和紧急制动系统可在潜在紧急情况发生之前自动激活。

3D摄像头时刻跟踪司机眼皮动作

该3D摄像系统的尺寸仅49×29毫米(大约2×1英寸),被嵌入仪表板:通过方向盘,3D摄像头朝前“目视”驾驶员的身体和头部。它会记录司机头部的确切位置,并且捕获司机的眨眼动作——即便司机带有眼镜或太阳镜。

3D摄像头利用红外线,即使在不断变化的光照条件下或在黑暗中也能正常工作。它含有来自英飞凌的Real3 3D图像传感器芯片,该芯片能以每秒50次的频率可靠记录超过10万像素的图像。对于每个像素,它都能同时识别距离和亮度值。从距离数据的深度图像和亮度值的振幅图像,3D摄像系统就可以识别驾驶员脸上的49个预先确定的点,如眼睛、眉毛、嘴巴或鼻尖等。算法利用该数据计算驾驶员的注意力集中情况。譬如,如果系统检测到驾驶员有疲劳迹象,就会启动相应对策。

此外,知道驾驶员头部的确切位置有助于通过平视显示(HUD)在挡风玻璃上投射导航信息,这样,信息就能恰好在驾驶员的视线内,无缝切入驾驶员眼前的街景。这样,驾驶员就能始终在眼前的同一位置看到导航箭头——不管他头部的姿势如何。

TOF传感器实现3D立体成像

摄像系统的核心是3D图像传感器芯片。该芯片基于飞行时间(ToF)原理,可以测量红外光从摄像头到物体所需的往返时间。该时间与物体的距离直接相关。较之其他3D测量方法,通过ToF,可以直接测量深度数据,不需要通过复杂算法来确定。

意味着,在生产过程结束时,带Real3的3D摄像头还可轻松和永久地进行校准,并且只需要校准一个镜头(单摄像头架构)。因此,它们相对较小,不受车辆振动的影响。(是否意味着iPhone8单摄像头构架生产其实并不困难?)

3D ToF摄像头在车内并不仅仅用于检测司机头部位置和眨眼目的。它们可用于通过手部运动或身体姿势控制信息娱乐系统或空调。

苹果居然利用3D拍摄+ToF算法+IR红外融合,开发出另一套系统方案用于自拍和深度成像,两者的系统运行非常相似,这等于是把如此先进的汽车摄像头系统硬塞进了iPhone8,让人匪夷所思。

(原文发表于EDN姐妹网ESMC)

20160630000123