广告

光学动作捕捉(光学动捕)系统是什么?它能在自动驾驶、无人机、机器人中起什么作用?

2020-11-27 11:49:32 柒DoF 阅读:
近年来,人工智能AI非常火热,算法越来越得到重视,其在AI中的地位越来越高。在智能体算法层面,动作捕捉是自动驾驶、无人机、机器人、安防等涉及电子运动学中最重要的技术和算法,而光学动作捕捉(简称光学动捕)处于这门算法学科的最前端。那么光学动作捕捉系统到底能做哪些事情呢?

近年来,人工智能AI非常火热,算法越来越得到重视,其在AI中的地位越来越高。在智能体算法层面,动作捕捉是自动驾驶、无人机、机器人、安防等涉及电子运动学中最重要的技术和算法,而光学动作捕捉(简称光学动捕)处于这门算法学科的最前端。那么光学动作捕捉系统到底能做哪些事情呢?yn9ednc

本文由柒DoF原创发表在EDN电子技术设计,通过通俗易懂的方式介绍了光学动作捕捉系统的原理、应用场景和基本算法等。yn9ednc

人工智能分为三大学派,符号主义、连接主义、行为主义。无人机、机器人等智能体属于连接主义、行为主义范畴,其应用价值也日益凸显。yn9ednc

yn9ednc

我们先设想几个场景:
 
1.
 

在未来几年内无人驾驶会越来越普遍,甚至在不久的将来,道路上的车会有超过一半是无人驾驶汽车;yn9ednc

2.yn9ednc

yn9ednc

无人机的应用会越来越普遍,物流、巡查、航测等等;yn9ednc

3.yn9ednc
yn9ednc

从扫地机器人开始我们的家庭生活里智能体的数量会逐渐丰富起来。yn9ednc

以上都可以称作为智能体,智能体也必将深入我们的生活,成为我们的好帮手。
 
那么,智能体在开发阶段是如何进行的呢?在算法层面又是否需要一把高精度的尺子呢?
 

【定义】yn9ednc

 
先给光学动作捕捉系统下一个定义:
 
它相当于智能体算法层面的一把“尺子”,能够实时以0.1mm的精度捕捉空间内智能体6DoF位姿信息。
 
有些名词可能仍然不够清晰明,后面会进一步进行说明。
 
 
 
光学动作捕捉系统依靠一整套精密而复杂的光学摄像头来实现,它通过计算机视觉原理,由多个高速摄像机从不同角度对目标特征点进行跟踪,以完成全身的动作的捕捉。
 
光学动作捕捉系统是一种用于准确测量物体(刚体)在室内三维空间运动信息的设备。
 
具有高精度的室内定位能力,能够给室内小车、无人机、机器人、机械手臂等智能体提供高精度的空间位置信息。
 

【工作原理】yn9ednc

  1. 精准记录运动信息:基于计算机视觉原理,光学室内定位系统通过布置在空间中的多个红外摄像机,捕捉区域内物体上反光标识点的运动信息,并以图像的形式记录下来。yn9ednc

  2. 实时解算六自由度位姿:利用计算机对捕捉到的图像数据进行处理,实时地解算出运动物体的六自由度位姿,即三自由度位置(X,Y, Z坐标)和三自由度姿态(俯仰角,偏航角和滚转角)。yn9ednc

    该系统也可以称为“室内定位系统”或“室内GPS”。yn9ednc

  3. 多架相机支持,覆盖范围广:光学室内定位系统采用智能相机,将反光球图像坐标传到主机,不同相机数目将产生不同的覆盖范围,相机越多,覆盖范围越大。yn9ednc

【应用场景】yn9ednc

可以做算法验证、运动规划、集群控制、人机交互、轨迹回放、步态分析、智慧沙盘等。
 
现在大家已经知道了光学动作捕捉系统能够捕捉哪些数据,以及能有什么用,那么下面我来给大家分享一些具体案例
 
具体案例(视频请看文末联系方式)
 
先讲一下无人机集群控制,在这个案例中光学动作捕捉系统起到的作用是让无人机知道“我”在哪?“你”在哪?我下一步要做什么?
 
大家可以看到无人机是飞在空中的,所以我们要捕捉其6DoF信息给到上位机,上位机再把控制指令发送到无人机集群。
 
无人机集群是高速运动的,而且是多架,所以就必须做低延时的反馈效率,要不然无人机就炸机或者相互撞上。
 
所以光学动作捕捉系统的低延时、捕捉6DoF位姿信息的功能起到了至关重要的作用。
 
 
 
 
说完多架无人机,我们来说说单架无人机。
 
大家可以看到这是一个虚实结合的方案,光学动作捕捉系统在实物仿真算法验证阶段起到了“尺子”的作用。
 
举例说明,在飞控开发悬停的时候,有一个理论的输入值和一个实际的输出真值.
 
这个差值就是算法层面的△P,需要一个高精度能够捕捉6DoF的尺子,给测量出来验证算法的准确性进而高效的算法,其他智能体在算法层面亦类似。
 
 
上面是基于光学动捕系统无人机单机、集群的整体方案。
 
 
咱们聊完天上飞的,再聊聊地上跑。
 
某高校智慧交通沙盘,有十几辆小车要求能够准确的识别路况、周围环境、变道等。
 
前面有提到智慧交通无人机驾驶在短期的未来会逐渐的普及。
 
大家可以想一下,路上跑无人驾驶汽车都需要具备哪些功能呢?
 
高精度的识别、超低延时的反馈。
 
而且这些无人机驾驶汽车一定是从实验室里跑出去的。
 
所以这套系统在无人驾驶领域,也有着足够强大的应用前景。    
 
 
提到智能体大家或许会想到机械手臂,机械手臂一般是六轴的。

光学动作捕捉系统在机械手IK反向动力学算法中有着很重要的作用。yn9ednc

在空间中机械手要抓取一个细小的零件需要一个高精度6DoF控制信息,和要一个精准的轨迹规划路径。yn9ednc

在空间内机械手的第六轴从A点位移到B点需要高精度的“尺子”来验证其算法的准确性。yn9ednc

光学动作捕捉系统定位精度达0.1mm且可捕捉6DoF位姿数据足以满足需求。yn9ednc

在老牌自动化相关专业多数都在研究机械手臂。yn9ednc

这个市场的存量和增量都非常可观,包括基于机械手的人机交互的研究等等。yn9ednc

 yn9ednc

 
【机器学习】
 
以无人机机器学习为例,无人机在训练“黑盒子”的时候,有一个理论的输入值和一个输出的真值。
 
这里的输出真值需要一个高精度的“尺子”来佐证数据的准确性,为人工智能—机器学习沉淀大量的数据。
 

光学动捕相机yn9ednc

前面提到光学动作捕捉系统的定义:实时以0.1mm精度捕捉空间内智能体6DoF位姿信息。
 
那光学动作捕捉系统是怎么做到这么低延时,这么高的精度,以捕捉智能体的6DoF位姿信息呢?
 
因为光学动作捕捉系统肚子里有一个非常强大的GoKu SoC处理模块,内置高速目标追踪算法,可同时捕捉400个目标智能体。
 
它能够以每秒钟拍摄并处理360张灰度图,并以ms为单位把灰度图转化为数据坐标给到上位机,这样就会大大减少了带宽的需求。
 
光学动作捕捉系统支持被动光和主动光系统。像素达130像素可以满足绝大部分的用户需求。且理论上支持无限级联,覆盖几千平米的面积都没有问题。
 
 
拆开看看光学动作捕捉相机,大家同样可以看到强大的SoC模块,动捕相机的体积非常小巧集成度非常高。即小巧的身躯解决了大问题。
yn9ednc
 
介绍了光学动作捕捉相机的内在,我们再来说说多个光学动作捕捉系统部署统一空间内时如何同步标定。
 
首先空间内相机部署完成后第一件事是要用“T型杆”进行扫场时的多个相机同步,告诉这些光学动作捕捉相机他们在同一空间内;
 
第二步是利用“L型杆”以某一个相机为基准,建立整个空间的坐标系。
 
这两步完成后就可以开始工作捕捉空间内的智能体了。
 
大家可以看一下标定的界面视频,这是其中的一个课题,大家可以看到有79台光学动作捕捉相机,场地大小达到了300平米(视频请看文末联系方式)。
 
理论上级联没有上限。
 
 
标定完,空间内坐标系建立完成,那我们就开始在智能体上做些文章了。
 
捕捉智能体分为被动光标记和主动光标记。
 
首先先介绍一下被动光标记,在智能体上搭建一个以反光marker点空间几何刚体即可,因为空间几何在空间内位置信息是唯一的。
 
只要这个刚体被两天以上的相机同时看到,就可以把位姿信息定位出来,原理是光学动作捕捉相机发出850nm红外光,照到反光球反射回来产生相位差。
 

 yn9ednc

yn9ednc

被动光捕捉已经是世界上比较先进的方法了,下面介绍一下比被动光系统更为先进的方法,主动光自识别频闪编码。
 
一组LED灯发出850nm频闪的红外光被光学动作捕捉相机直接识别,开放部分API客户可自行开发,LED灯频闪相当于1/0的编码被光学动作捕捉相机识别,其是唯一的,一个智能体上固定3个以上的可编码LED灯即可,这样做有几个优势:
  1. 不用3D打印刚体直接固定在智能体上,避免了损坏,且智能体美观,操作开发方便。yn9ednc

  2. 主动光识别的追踪距离更远,在相机部署的数量上有优化的空间。yn9ednc

  3. 用户以往是基于光学动作捕捉系统开发智能体,并进行相关研究和撰写论文。开放API后会在动捕系统方向做相关研究,但目前此方向研究很少,因而相关专业的硕士博士有很大的论文研究空间。yn9ednc

  4. 因为是频闪所以耗电量极低,因此它不会不影响智能体的正常运作。yn9ednc

 
 
光学动作捕捉系统核心技术在算法上,软件层面也尽最大努力给到用户最友好的界面。
 
一键式标定、一键式创建刚体、界面全三维展示等。
 
方便好用,省去用户在光学动作捕捉系统操作应用层面的时间与精力。
 
 
光学动作捕捉系统所支持的格式与接口,智能体方向用户最常用的是VRPN格式。
 
因为它可以调动ROS,以适用无人机、机器人等智能体。
 
智能体方向用户最常用的接口是MATLAB和ROS适用与智能体开发。
 
格式和接口都是直接给到用户,非常的方便实用。
 
 
【光学动作捕捉系统的组成】
 
因为相机是发出的锥形体的光,所以在一个空间内需要部署多个相机来实现全覆盖,包含上位机、路由器、交换机。
 

这里说一下POE供电,只需一个六类网线就可以实现相机的供电和信号传输。yn9ednc

yn9ednc

基于空地联动集群描述一下其工作原理:
 
光学动作捕捉相机捕捉空间内智能体,无人机、小车的位姿信息给到上位机,上位机得到信息后经过控制算法给出控制信号,通过无线的方式发给智能体,这样多智能体就实现了集群控制。

适合用户:yn9ednc

适合哪些学院呢?yn9ednc

人工智能学院、机械自动化学院、电子自动化学院、计算机学院、电气自动化学院、航空宇航学院、电工电子类学院、物联网学院。yn9ednc

那都适合哪些专业呢?
 
无人机专业、飞行器设计专业、机器人工程专业、智能制造专业、自动化专业、虚拟现实专业、智能科学与技术专业、人工智能专业等。
 
而一些科研公司和科研院所同样适用。
 
直白的说就是跟控制类相关的的专业或学院或科技公司都适用。

更深入的技术交流可以发邮件给作者:SSHbenyuwei@163.com。yn9ednc

 yn9ednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 定位精度0.1mm,确实挺粗暴的。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • 核酸采样机器人将取代“大白”?用了哪些技术保证采样准 取棉签、核酸采样、储存核酸采样管、设备消杀……动作精准流畅,今后给你核酸采样的可能不再是“大白”,而是机器人。EDN小编就带大家来看看,目前已被使用的核酸采样机器人有哪些?
  • 受萤火虫启发,麻省理工研发出发光昆虫型机器人 受萤火虫的启发,MIT研究人员创造了昆虫型的机器人,它们可以在飞行时发光,从而实现运动跟踪和通信。
  • 一种具有触觉感应能力的仿生弹性机器人皮肤 科学家认为,给社交机器人安装类人体皮肤(或触觉传感器),可以实现安全、直观和接触丰富的人机交互。然而,现有的软触觉传感器存在一些缺点,如结构复杂、可扩展性差、易碎,这限制了它们在机器人全身皮肤上的应用。韩国科学技术高等研究院的一组研究人员与麻省理工学院的一位研究人员和斯图加特大学的另一位研究人员合作,开发了一种具有触觉感应能力的仿生弹性机器人皮肤。
  • 有史以来最小的遥控步行机器人,比跳蚤还小! 西北大学的工程师已经开发出有史以来最小的遥控步行机器人。这些小螃蟹只有半毫米宽,可以弯曲、扭曲、爬行、行走、转身甚至跳跃。研究人员还开发了毫米大小的机器人,类似于蟋蟀和甲虫。
  • 麻省理工用更简单的方法教机器人学习新技能 随着电商的蓬勃发展,自动化仓库机器人市场也迎来了爆发,也进一步提高了机器人在拣选速度方面的要求。麻省理工学院研究人员开发的一项新技术只需要少数人类演示即可重新编程机器人。这种机器学习方法使机器人能够拾取和放置从未遇到过的随机姿势的从未见过的物体。在 10 到 15 分钟内,机器人将准备好执行新的拾取和放置任务。
  • 因俄乌都喜欢改造大疆无人机用于战斗,大疆宣布对两国停 总部位于深圳的无人机制造商大疆创新科技表示,将暂停在俄罗斯和乌克兰的所有业务活动。作为少有的完成出海,并且海外市场占比可观的科技公司,在俄乌问题上面临的舆论压力确实很大,多次发表声明称只生产民用产品,但仍阻挡不了产品被滥用。
  • 黑匣子用GPS无法发送定位,为什么不用双向短报文的北斗? 在这两天整理有关东航MU5735失事航班黑匣子技术报道的过程中,EDN小编发现一个有意思的话题:为什么不在黑匣子上安装GPS发送器,只安装一个无线电发射器?本文我们就来聊聊它。
  • 华为“天才少年”稚晖君新作:多运动自由度可反驱的桌面 停更近三个与的华为“天才少年”稚晖君又更新视频啦!稚晖君热衷于收集各式各样的“屏幕”。这次他淘来了一块圆形的LCD屏幕,于是他的DNA动了,想着是不是能用来做点有意思的玩意。这次他自制了一个又萌又硬的桌面小机器人ElectronBot,稚晖君表示这是个支线项目,整体难度不高。
  • 电子工业落后的俄罗斯“秒赢”乌克兰,电子作战系统强在 2月24日,俄罗斯总统普京决定在顿巴斯开展特别军事行动,然而,开战一小时后,俄罗斯国防部称,高精度武器正在让乌克兰空军的军事基础设施、防空设备、军用机场和航空队失去战斗能力。那么俄罗斯这个战斗民族,在半导体、科技方面到底有哪些特色呢?
  • 全电动飞机和火车会是下一步吗? 毫无疑问,过去几年中,电动汽车(EV)从基本元器件到系统级架构的方方面面都得到了极大改善。虽说全电动汽车没有成为消费者首选得到广泛使用,但也可以利用了,不妨合理思考它们的一些技术能否适用于其他交通运输方式,如飞机、火车和汽车中的任意一种?
  • 机器人:从自动化到自主化 通过集成软硬件简化机器人应用的开发和部署
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了