向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

Facebook研发新AI模型,动态人物视频也能造假

时间:2019-04-22 阅读:
Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。

近日Facebook发表了一篇关于从现实视频中提取角色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos(Vid2Game:从真实世界视频中提取可控制的角色)。

在这篇论文中,Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。

一、AI如何将现实视频与游戏形象结合?

026ednc20190422

这个团队的方法依赖于两个神经网络,或者说是模仿生物神经元的数学函数层: Pose2Pose,一个将当前姿态和单一实例控制信号映射到下一个姿态的框架;Pose2Frame,将当前姿态和新姿态(以及给定的背景)一起放在输出帧上。这些操作可以由任何“低维”信号控制,比如来自操纵杆或键盘的信号。研究人员表示,该系统足够强大,可以在动态背景中定位提取图像,并将现有背景进行任意的更换,融合成新的图像后生成视频输出。

027ednc20190422

这种AI模型生成新的视频有两个具体步骤。首先,将包含一个或多个图像的输入视频输送到一个特定区域(如舞蹈)训练的Pose2Pose网络中,该网络将这些图像(加上预估的前景空间掩模)和它们的运动隔离开来,特定区域将作为它们质心的轨迹。(掩模用于确定哪些区域的背景被合成的图像信息所取代。)

然后,使用这些和组合而成数据,Pose2Frame将场景中与角色相关的变化(如阴影、被持有的物品和反射)和与角色无关的变化分开,最终可以形成任何想要的背景与动作的混合视频输出。

二、通过训练对比提取可控角色

为了训练这个AI系统,研究人员采集了三个视频,每个视频长度在5到8分钟之间。这三个视频分别为:一个网球运动员在户外、一个人在室内挥舞着剑、一个人在走路。

028028ednc20190422ednc20190422

研究人员报告说,将这三个视频与传输舞者三分钟视频的神经网络模型相比,他们的方法成功地对动态元素进行了对比,如其他人和摄像机角度的差异,以及角色服装和摄像机角度的变化。

研究人员在论文中写道:“每个网络都解决了之前未完全满足的计算问题,同时为生成具有逼真图形的视频游戏铺平了道路。此外,从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。”

三、利用AI系统优化游戏成为热潮

Facebook并不是唯一一家研究可能有助于游戏设计AI系统的公司。

初创AI技术公司Promethean AI利用机器学习帮助人类艺术家为视频游戏创作艺术形象,利用自动化省去重复的建模工作。

AI视觉计算公司Nvidia的研究人员最近有展示了一种可以使用视频片段创建虚拟环境的生成模型。

机器学习也被用来优化复古游戏中的旧游戏纹理,如《最终幻想VII”和“塞尔达传说:暮光公主》,以及在游戏《毁灭战士》中从零开始生成数千个关卡。

结语:AI技术成为行业新突破

AI已经被越来越广泛的应用到了各个领域,各行业都在利用AI技术寻找新的突破口。

在图像处理领域,AI图像技术正在帮助游戏行业优化或者开发更有趣的产品,并逐渐成为游戏行业竞争的又一个重要因素。

(原文来自:VentureBeat,智东西编译)

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • 自动驾驶的安全能作为“独特”卖点吗? 在SAE中国自动驾驶汽车安全技术大会上,我在主持圆桌论坛时问了各位专家一个问题:“在你从自动驾驶测试中得到的数据中,哪些数据或教训是您愿意与其他汽车公司分享的?” 这个问题引起了长时间的沉默。圆桌嘉宾们不安地看着对方。
  • AMD的AI策略与Intel和Nvidia有何不同? 在美国硅谷举办的Hot Chips 31上发布的两款最大芯片引人注目。分别是Cerebras最大的深度学习芯片WSE,还有赛灵思发布全球最大的FPGA。Intel发布的两款AI芯片Nervana NNP-T/NNP-I同样备受关注。不过,AMD在Hot Chips期间并没有获得巨大的关注,这或许是因为在当今AI大热的情况下,他们采用“观望式”的AI策略。
  • 5G下的ARM与边缘计算浪潮 科技界2019年最热的一个话题应该算是5G和AI,5G将在未来10-20年内成为互联网的基础设施,也是下一代互联网的基石。今年ARM公司的主题是把人工智能的体验带到5G。在5G基础设施中,影响最大的是边缘计算。
  • 华为发布AI处理器昇腾910,号称业界算力最强 华为在深圳坂田总部发布正式商用的AI芯片——Ascend 910(昇腾910),以及与之配套的新一代AI开源计算框架MindSpore!昇腾910、MindSpore的推出,标志着华为已完成全栈全场景AI解决方案(Portfolio)的构建,也标志着华为AI战略的执行进入了新的阶段。
  • 华为AI芯片的“秘密武器”:达芬奇架构实力究竟如何? 2019年6月,华为发布全新8系列手机SoC芯片麒麟810,首次采用华为自研达芬奇架构NPU,实现业界领先端侧AI算力,在业界公认的苏黎世联邦理工学院推出的AI Benchmark榜单中,搭载麒麟810的手机霸榜TOP3,堪称华为AI芯片的“秘密武器”,这其中华为自研的达芬奇架构举足轻重。那么,达芬奇架构AI实力究竟怎么样?一起来深入了解下。
  • 世界最大FPGA芯片来了!包含350亿晶体管 它是一款“Chip Maker’s Chip”(为芯片制造商打造的芯片),主要面向最顶级ASIC、SoC芯片的仿真和原型设计,以及测试、测量、计算、网络、航空、国防等应用领域。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告