广告

3D深度传感解锁新应用场景

2022-08-29 17:08:55 EDN Taiwan编辑部 阅读:
通过深度传感技术,设备和机器等数字系统得以感知并理解其周遭环境,让需要人为观察的过程自动化;特别是3D ToF,正成为解锁游戏、机器视觉、自动驾驶以及工业环境等先进功能的关键…

自从2018年苹果(Apple)在其新款iPhone手机中导入Face ID,正式引爆3D传感(3D Sensing)行动应用风潮后,个人生活、消费市场到汽车与制造业等领域逐渐从2D向3D靠拢,不仅开启各种崭新应用,并进一步创造巨大的成长机会。2MHednc

根据市场研究机构Yole Développement统计,2021年全球3D/深度传感市场市值为68亿美元,并将以15%的复合年成长率(CAGR)成长,预计将在2026年达到150亿美元的市场规模。其中,车用3D传感技术市场规模将在未来五年内成长4倍。2MHednc

通过“深度传感”(depth sensing)技术,设备和机器等数字系统得以感知并理解其周遭环境,进而使需要人为观察的过程实现自动化。尤其是近年来,深度测量和3D感知(3D perception)在许多产业和应用中变得越来越重要,包括手机等消费应用、与流程优化和自动化有关的工业环境、机器人技术和自动驾驶等。 2MHednc

立体视觉(stereo vision)、结构光(structured light)和飞时测距(Time of Flight;ToF)是目前主要的深度传感技术,特别是ToF传感技术,正成为解锁AR/VR游戏、机器视觉、自动驾驶以及工业、智能制造环境等更先进功能的关键,催生并驱动更多高阶新应用蓬勃发展。2MHednc

3D ToF瞄准工业/汽车新应用

ToF摄影机由于具备组件尺寸小、较大传感动态范围以及能在各种环境中运作等特性而备受瞩目。尽管这一技术目前主要应用围绕在智能型手机、消费设备以及游戏机等产品,随着技术逐渐成熟以及进一步采用主流制程,如今开始部署于消费市场以外的领域,为制造业以及货物运输等领域提升效率。2MHednc

包括物流、质量检测、机器人、人脸辨识、门禁、监视、保全维安、医疗以及驾驶监测等使用情境都可运用3D ToF深度传感技术解决2D技术无法克服的许多问题,并结合高分辨率深度数据、强效的分类算法以及人工智能(AI)等技术而发掘更多崭新应用。2MHednc

ADI和微软(Microsoft)就ToF 3D成像的开发和制造展开合作,为各种应用场景提供更高精度的3D传感技术。ADI采用微软的Azure Kinect 3D ToF技术,结合其百万画素的高分辨率ToF传感器ADSD3100,能以最低功耗产生极精准深度影像,建构更易于应用的3D成像方案,锁定工业4.0、汽车、游戏、AR、计算摄影和视讯摄影等应用。2MHednc

2MHednc

3D ToF传感器能以低功耗产生极精准的深度影像,为工业、汽车、制造业和货物运输等应用提升效率。(图片来源:ADI)2MHednc

为实现车内驾驶及座舱监测,ADI并结合ToF技术和Jungo的CoDriver软件,开发基于ToF和2D IR技术的摄影机方案,用于观察驾驶的头部、身体位置以及眼睛注视情况,监测其睡意和注意力分散程度,并可提供个性化信息娱乐服务以及共乘支付等功能。2MHednc

相较于计算机视觉算法,ToF传感器能利用深度信息大幅降低人体追踪算法的复杂程度和运算难度,从建筑自动化到人流统计,通过优化音讯和气候控制等提供更好的体验。此外,它还能远程监测人员的健康情况,例如Tempo工作室使用其ToF捕捉使用者的3D移动,通过内建算法追踪动作状况并提供实时个人反馈,协助用户改善功能并保障人身安全。2MHednc

ADI最近并与Lumentum Operations合作推出用于3D景深测量和视觉系统的工业级间接飞时测距(iToF)模块,采用Lumentum先进的三结垂直共振腔面射型雷射(VCSEL)技术,让摄影机和传感器能以百万画素分辨率感知3D空间,提供精度高达+/-3mm的iToF技术,广泛用于工业自动化、物流、医疗健康和AR等机器视觉等领域。2MHednc

3D脸部认证确保安全行动支付

3D脸部辨识由于更安全、准确、易用且无接触等特性,在要求更为严苛的金融支付市场受到追捧。例如艾迈斯欧司朗(ams OSRAM)和trinamiX连手为智能手型机制造商提供高度安全和方便的用户认证系统,可在OLED屏幕后方实现人脸认证,并提供行动支付所需的超高安全效能。该系统将于今年内推出。2MHednc

ams OSRAM资深营销经理CK Chuaq介绍,新型3D脸部辨识解决方案的核心采用trinamiX经认证的人脸验证软件,以及ams OSRAM的红外点阵投影器和泛光照明器,这一创新组合即使整合到智能型手机的OLED屏幕后方,也能实现高度安全和方便的效能,并推动小尺寸和高性价比的产品设计成为可能。2MHednc

2MHednc

3D脸部辨识系统可在手机OLED屏幕下实现人脸认证,实现行动支付所需的超高安全效能。(图片来源:trinamiX)2MHednc

此外,ams OSRAM并针对驾驶状态监测系统(DMS)发布ICARUS概念验证系统,由ams OSRAM的汽车VCSEL近红外(NIR)泛光和点阵投影器实现,可对安装在仪表板或A柱上的先进DMS进行概念验证。2MHednc

ams OSRAM的3D传感系统采用结构光方案,提供高分辨率深度图(在45-70cm范围内,深度精度<±0.5%),同时通过深度提取算法,为支持客制化产品开发的客户提供提高效能的空间。2MHednc

客户可以利用DMS软件结合驾驶脸部的精确深度图,以确定驾驶眼睛和头部姿态的3D位置,在此基础上实现AR-HuD、驾驶身份验证等状态监测功能。此外,ICARUS系统对驾驶头部3D位置的精确测量支持软件建置,可侦测对道路安全造成危险的“瞌睡”及其他疲劳先兆。2MHednc

3D AI脸部辨识门禁系统提升安全层级

3D ToF传感技术由于能够取得辨识人脸的深度信息,比单镜头摄影机更安全,应用于智能门锁和车门时,还能避免环境光源变化带来的干扰。2MHednc

耐能智能(Kneron)携手汉芝电子(iMQ Technology)共同开发轻量级3D AI脸部辨识门禁系统,采用3D脸部辨识和Silicon-to-System技术以加速边缘AI运算应用,并达到BCTC金融支付标准以及FIPS Level3的更高安全强度,进一步提升安全标准层级。2MHednc

2MHednc

基于ToF传感器的3D AI门禁系统大幅提升安全层级。(图片来源:Kneron)2MHednc

该3D AI脸部辨识门禁系统搭载耐能KL520 AI芯片,结合其可重配置AI模型以及自研NPU,从而支持多种机器学习架构与网络模型。此外,RGB+红外镜头实现尺寸紧凑且灵活的摄影机,搭配汉芝电子创新的安全加密芯片组,实现高精准度且更高安全层级的脸部辨识方案。2MHednc

据耐能介绍,通过采用ToF 3D传感技术,由传感器发出调变的近红外光遇物体后反射,并计算光线发射和反射时间差或相位差,可在耐能芯片上计算目标的距离以产生深度信息。其技术特点在于采用单一镜头结合AI算法,降低成本,同时大幅减低错变率,以提高安全性和使用的方便性。2MHednc

耐能并与全球多家知名厂商合作,针对深度传感设计开发整合的边缘AI硬件和软件解决方案,致力于智慧驾驶、安全监控和更广泛的物联网应用。例如在Mobility in Harmony (MIH)联盟的合作伙伴展会上展示其车辆解决方案——搭载耐能自研芯片OT 8600+KL 520的开发板,用于车辆镜头传感器部署以及人员、车辆和物体检测。2MHednc

为推动智慧城市和智慧建筑管理,耐能并与IP摄影机厂商韩华(Hanwha)合作,搭载KL720芯片的韩华X系列AI感知摄影机能有效应用于车辆、虚拟围栏和人脸侦测等应用。2MHednc

打造无缝连接实体和数字世界的AR设备

着眼于AR应用将彻底改变日常生活和工作方式,Magic Leap预计在今年下半年推出专为企业用途而设计的最新AR设备:Magic Leap 2。该设备的特点之一就在于采用了3D间接飞时测距(iToF)深度传感技术。2MHednc

这项技术是由英飞凌科技(Infineon Technologies)和pmdtechnologies (pmd)共同开发的,能够实时建立准确的环境3D成像,以及人脸、手部细节或物体的3D成像,让Magic Leap 2能精准地与环境互动。此外,该传感器还可强化Magic Leap 2的手势控制,并将其耗电量降至最低、减少散热以及延长电池寿命。2MHednc

这让Magic Leap 2具备先进的光学技术和强大的运算能力,提升操作人员的工作效率、协助企业优化复杂程序,并使员工间能无缝顺畅合作Magic Leap 2以展现REAL3 3D影像传感器的潜力。经改良的新款IRS2877C ToF影像传感器捕捉用户周围的实体环境,协助设备了解该环境并与之互动。2MHednc

随着这些技术的进展,预计未来将有越来越多AR应用出现在工业和医疗环境中。例如,慕尼黑数字医疗技术公司Brainlab将其以AI技术建构的特定病患解剖区段可视化软件结合Magic Leap的空间运算,让外科医生对病患的解剖结构有多的了解。2MHednc

2MHednc

采用3D iToF开发的Magic Leap 2专为企业用途而设计,打造最具沉浸式体验的企业用AR头戴式设备。(图片来源:Infineon Technologies)2MHednc

3D传感摄影机实现沉浸式元宇宙用户体验

市场对元宇宙基础架构的投资持续蓬勃发展,同时驱动传感器需求的成长。为协助用户实现更为逼真和身历其境的虚拟体验,光学材料和半导体制造商II-VI与光学传感器业者光程研创(Artilux)连手打造新一代3D传感摄影机,提供更宽广的侦测范围和更高成像分辨率,提升传感效能并优化元宇宙生态圈的使用体验。2MHednc

该微型3D传感摄影机结合II-VI的磷化铟(InP)半导体激光技术,以及光程研创的锗硅(GeSi)传感器数组技术,能够运作于短波红外光(SWIR)——1380nm波段,较目前市场上大多运作于940nm波段的3D传感摄影机拥有更优越的效能。2MHednc

2MHednc

新世代3D传感摄影机开发更细腻沉浸的元宇宙用户体验。(图片来源:Artilux)2MHednc

II-VI光电组件与模块事业处资深副总裁Julie Sheridan Eng表示,“相较于NIR波长,SWIR的波长较长有助于揭露更多的物质材料细节,以及提供更佳的对比度,特别是在户外环境。”相较于940nm波段,运作于1380nm波段的摄影机能实现更强的明亮度照射同时维护人眼安全。此外,大气在1380nm波段吸收更多的太阳光,可减少背景光的噪声干扰,让摄影机提供更长的侦测距离和更高的成像分辨率。2MHednc

II-VI高度整合的SWIR发光模块内含InP边缘发射雷射,可提供最高2W的输出功率和光学扩散器,表面贴装技术(SMT)制程则带来低成本和高质量的组装。光程研创的摄影机搭载高带宽和高量子效率的锗硅SWIR传感器数组,并建立于具高度扩展性的CMOS技术平台上。此款结合双方先进技术实力的产品预计将在消费与车用市场实现更广泛多元的深度传感应用。2MHednc

本文同步刊登于EDN Taiwan 20228月号杂志2MHednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 纳米技术加持:生物光子学迎接医疗应用前景 本文介绍四个相关用例,说明以激光驱动的生物光子学结合纳米技术的应用如何共同实现更理想的医疗健康效果。
  • 复旦大学研究人员发明晶圆级硅基二维互补叠层晶体管 复旦大学研究团队将新型二维原子晶体引入传统的硅基芯片制造流程,实现了晶圆级异质CFET技术。相比于硅材料,二维原子晶体的单原子层厚度使其在小尺寸器件中具有优越的短沟道控制能力。
  • 宝马AI“超级大脑”上线,驱动在华数字化发展 近日,宝马率先在华部署了代号为“灯塔”(BEACON)的人工智能(AI)平台,提供AI应用创新相关的开发、部署、集成与运行服务的平台化环境,加速实现多业务场景数字化。
  • 西工大打破吉尼斯世界纪录,扑翼式无人机单次充电飞行15 据西北工业大学官宣其扑翼式无人机单次充电飞行时间获得新的吉尼斯世界纪录,认定的纪录时间为 2 小时 34 分 38 秒 62(突破 154 分钟)。本次刷新世界纪录的“云鸮”扑翼式无人机采用了高升力大推力柔性扑动翼设计、高效仿生驱动系统设计和微型飞控导航一体化集成等关键技术,翼展 1.82m,空载起飞重量为 1kg,手抛起飞,滑翔降落,能够按设定航线自主飞行,飞行过程中能实时变更航线。
  • 电化学腐蚀制备新技术发表,“一步到位”制作电池电极 据了解,天津大学“英才计划”特聘研究员吉科猛团队联合湖南大学谭勇文教授团队利用钴磷合金研发出了仅用一步即可制成电池电极的电化学腐蚀制备技术,该相关研究成果将于近日发表在国际期刊《先进材料》上。
  • 麻省理工开发出纸一样薄的太阳能电池,每公斤功率是传统 麻省理工学院称其工程师开发出超轻织物太阳能电池,可以快速轻松地将任何表面变成电源。这些耐用、灵活的太阳能电池比人的头发丝细得多,粘在坚固、轻便的织物上,使其易于安装在固定表面上。它们的重量是传统太阳能电池板的百分之一,每公斤产生的功率是传统太阳能电池板的18倍。
  • iPhone 15全面升级,Ultra版本或超万元起售 据多方消息,明年苹果将在手机产品线上进行大范围的升级,如今的Pro版将不再是最高端版本,而是将推出一个全新产品iPhone 15 Ultra。
  • 英特尔展示下一代半导体器件技术,计划2030年实现万亿级 日前,英特尔在IEDM上展示多项与半导体制造技术相关的研究成果:3D封装技术的新进展,可将密度再提升10倍;超越RibbonFET,用于2D晶体管微缩的新材料,包括仅三个原子厚的超薄材料;能效和存储的新可能,以实现更高性能的计算;量子计算的新进展。此外,英特尔表示,目标是在2030年实现在单个封装中集成一万亿个晶体管。
  • 通过GaN电机系统提高机器人的效率和功率密度 机器人应用成功的关键因素之一是确保最佳的电机驱动器设计。
  • 湖南大学:基于2D的范德华异质结构,可用于晶体管及存储器 电子工程研究的一个关键目标是开发高性能和高能效的计算设备,这意味着它们可以快速计算信息,同时消耗很少的能量。一种可能的方法是将执行逻辑操作的单元和存储组件组合到一个设备中。
  • Codasip宣布成立Codasip实验室,以加速行业前沿技术的开 Codasip今日宣布成立Codasip实验室(Codasip Labs)。作为公司内部创新中心,新的Codasip实验室将支持关键应用领域中创新技术的开发和商业应用,覆盖了安全、功能安全(FuSa)和人工智能/机器学习(AI/ML)等方向。
  • 了解机器感知:激光雷达、3D视觉和地理空间AI 随着人工智能(AI)和物理世界的交叉,以及自主技术采用的增加,有人可能会提出质疑,机器及其目前脆弱的模型如何能以人类的方式感知世界。借助于诸如激光雷达、雷达和摄像头等自动驾驶汽车上所使用的传感器技术,机器已开始能收集实时数据来为决策提供信息,并适应现实世界的场景。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了