广告

Facebook研发新AI模型,动态人物视频也能造假

2019-04-22 阅读:
Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。

近日Facebook发表了一篇关于从现实视频中提取角色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos(Vid2Game:从真实世界视频中提取可控制的角色)。puUednc

在这篇论文中,Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。puUednc

puUednc

一、AI如何将现实视频与游戏形象结合?

026ednc20190422puUednc

这个团队的方法依赖于两个神经网络,或者说是模仿生物神经元的数学函数层: Pose2Pose,一个将当前姿态和单一实例控制信号映射到下一个姿态的框架;Pose2Frame,将当前姿态和新姿态(以及给定的背景)一起放在输出帧上。这些操作可以由任何“低维”信号控制,比如来自操纵杆或键盘的信号。研究人员表示,该系统足够强大,可以在动态背景中定位提取图像,并将现有背景进行任意的更换,融合成新的图像后生成视频输出。puUednc

027ednc20190422puUednc

这种AI模型生成新的视频有两个具体步骤。首先,将包含一个或多个图像的输入视频输送到一个特定区域(如舞蹈)训练的Pose2Pose网络中,该网络将这些图像(加上预估的前景空间掩模)和它们的运动隔离开来,特定区域将作为它们质心的轨迹。(掩模用于确定哪些区域的背景被合成的图像信息所取代。)puUednc

然后,使用这些和组合而成数据,Pose2Frame将场景中与角色相关的变化(如阴影、被持有的物品和反射)和与角色无关的变化分开,最终可以形成任何想要的背景与动作的混合视频输出。puUednc

二、通过训练对比提取可控角色

为了训练这个AI系统,研究人员采集了三个视频,每个视频长度在5到8分钟之间。这三个视频分别为:一个网球运动员在户外、一个人在室内挥舞着剑、一个人在走路。puUednc

028028ednc20190422ednc20190422puUednc

研究人员报告说,将这三个视频与传输舞者三分钟视频的神经网络模型相比,他们的方法成功地对动态元素进行了对比,如其他人和摄像机角度的差异,以及角色服装和摄像机角度的变化。puUednc

研究人员在论文中写道:“每个网络都解决了之前未完全满足的计算问题,同时为生成具有逼真图形的视频游戏铺平了道路。此外,从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。”puUednc

三、利用AI系统优化游戏成为热潮

Facebook并不是唯一一家研究可能有助于游戏设计AI系统的公司。puUednc

初创AI技术公司Promethean AI利用机器学习帮助人类艺术家为视频游戏创作艺术形象,利用自动化省去重复的建模工作。puUednc

AI视觉计算公司Nvidia的研究人员最近有展示了一种可以使用视频片段创建虚拟环境的生成模型。puUednc

机器学习也被用来优化复古游戏中的旧游戏纹理,如《最终幻想VII”和“塞尔达传说:暮光公主》,以及在游戏《毁灭战士》中从零开始生成数千个关卡。puUednc

结语:AI技术成为行业新突破

AI已经被越来越广泛的应用到了各个领域,各行业都在利用AI技术寻找新的突破口。puUednc

在图像处理领域,AI图像技术正在帮助游戏行业优化或者开发更有趣的产品,并逐渐成为游戏行业竞争的又一个重要因素。puUednc

(原文来自:VentureBeat,智东西编译)puUednc

  • 这不就是绿幕的改进版本吗?
本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 从技术角度分析,GaN和SiC功率器件上量还欠什么? 氮化镓(GaN)和碳化硅(SiC)这两种新器件正在推动电力电子行业发生重大变化,它们在汽车、数据中心、可再生能源、航空航天和电机驱动等多个行业取得了长足的进步。在由AspenCore集团举办的PowerUP Expo大会上,演讲嘉宾们深入探讨了包括GaN和SiC在内的宽禁带(WBG)器件的技术优势以及发展趋势。
  • 研发转至FAE(现场应用工程师),是否远离技术了?有前途吗? 前几日,EDN小编在浏览知乎的时候,发现了一个有趣的话题《FAE有什么发展前景吗?》,被浏览次数接近九万次。小编总结了一下题主的提问:FAE是否远离技术了?未来是否有发展前景?
  • Microchip模拟嵌入式SuperFlash技术助力存算一体创新 SuperFlash memBrain存储器解决方案使知存科技片上系统(SoC)能够满足最苛刻的神经处理成本、功耗和性能要求
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • 小米发布“小感量+磁吸”无线充电预研技术,最高支持50W 据EDN电子技术设计报道,昨日,@小米手机 官微宣布,正式发布小感量+磁吸”无线充电预研技术,其磁吸无线充电功率最高可达50W,损耗降低50%。据悉,该技术与传统无线充电方案采用大感量线圈不同,小米的小感量无线快充技术方案采用小感知线圈去感应发送端能量。
  • 2G/3G减频退网,NB-IoT、Cat.1谁能替代上位? 众所周知,2G、3G减频退网绝非一帆风顺。所以在国内市场,我们可以看到上至国家政策、下至产业界和运营商,多方为推进2G/3G减频退网做出全方位的准备。尤其是正处市场风口的NB-IoT、Cat.1两大产业链。
  • “中国IC设计成就奖”提名产品简介:高性能GPU芯片及解 沐曦致力于提供国际顶尖的高性能通用GPU芯片及解决方案,结合我国人工智能等领域对GPU芯片的强烈市场需求,对标当前国际领先的GPU芯片产品立项开展技术研发。
  • “中国IC设计成就奖”提名产品简介:全志科技高性能智能 高性能三重异构智能语音应用处理器R329芯片,采用业界先进的半导体工艺,首款集成Arm中国周易语音处理器。集成DSP、NPU、64位CPU及丰富的外设接口,创新突破了低功耗、边缘语音AI超级算力、多重异构通讯、多核调度等关键技术,处于国内领先水平。
  • “中国IC设计成就奖”提名产品简介:追萤3D AI芯片Ai310 埃瓦科技自主研发的追萤 3D AI芯片创新的采用了异构架构 SOC 设计和微内核架构设计,包含 NPU 神经网络加速核、3D 立体匹配加速核、ISP 核等功能性处理核心;其中 NPU 神经网络加速核基于可重构以及片上多级存储和缓存设计,使数据可高效送达加速核心,使该芯片拥有领先的高效智能处理能力、分析以及低功耗管理的能力;其设计架构的资源复用性使硬件计算单位可灵活分配,适应于不同场景的计算需求;在 3D 视觉算法加速方面创新的采用了自研立体匹配算法的 3D 加速微内核架构设计,可有效加速双目立体视觉、结构光等多种 3D 视觉算法。
  • “中国IC设计成就奖”提名产品简介:ada200优势 1.九天睿芯,感存算一体芯片,可以在功耗和性能满足”低功耗AI场景“的同时,成本也大幅度下降。2.采用模数混合的存内计算架构,ADA200相比传统数字芯片,1/3成本,1/10功耗。
  • “中国IC设计成就奖”提名产品简介:面向边缘视觉分析的 面向边缘视觉分析的数据流AI芯片CAISA是鲲云科技自主研发的专为人工智能图像提供高性能计算加速的AI芯片产品,是全球首个量产的数据流AI芯片。
  • “中国IC设计成就奖”提名产品简介:人工智能语音芯片CI 1、人工神经网络硬件引擎架构:具备高计算性能,进行神经网络计算时相当于数十个CPU并行计算的能力;低访问带宽和低功耗,通过并行计算和共用神经元权重参数,大幅降低访问带宽及功耗;高可配置性,支持神经元层数和节点数、神经网络结构的配置。 2、单、双、及麦克风阵列降噪增强技术:支持各种平稳、非平稳环境噪声抑制;可支持线阵、圆阵结构等常用麦阵结构;采用定向波束形成与自适应信号处理技术相结合;拾取方向动态可调;支持单声道、立体声等回声抑制;采用独立研发的空间预测技术,支持强回声情况下回声抑制;与降噪处理技术相结合;自动增益调节、高通、带通滤波等。 3、低功耗和可靠性设计技术:具备低功耗集成电路设计技术,包括基于活动语音检测的低功耗控制技术和时钟门控技术。 4、逻辑设计技术:掌握了语音信号处理IP的设计方法,包括算法硬件化、定点、浮点运算处理等。同时积累了整套SoC设计所需的控制类IP,并成功通过流片验证。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了