广告

XR来了!5G与AI的首度结合

2019-12-19 Junko Yoshida 阅读:
XR来了!5G与AI的首度结合
从智能手机App以及VR头戴式装置看到的影像,框住了你的想象力吗?

传统相机制造商如Nikon、Canon与Pentax,在设计系统时会有一个共同目标:追求真实。数十年来,他们了解无论是专业或业余摄影,都致力于捕捉如同发生那一瞬间般准确且生动的生活点滴。如果这种传统的写实主义是一个极端,合成影像──现在更恰当的名称是“运算摄影”(computational photography)──就是另一个极端。WhHednc

笔者在不久前参加了高通(Qualcomm)的年度技术高峰会(Tech Summit),该公司在会中发表了最新的Snapdragon 865应用处理器;采用该处理器的智能手机相机可搭载强大的AI引擎,并且能处理多个影像传感器。这让我突然领悟,我所知的“摄影”已经完全改变其意义。WhHednc

智能手机相机的价值

今日的智能手机相机使用者非常喜爱可以直接在手机上实时编辑、改变所撷取影像的功能,只要简单一个按钮,就能创造出“另类”的现实。WhHednc

热门智能手机应用程序Snapchat的开发商Snap资深工程总监Yurii Monastyrshyn在Tech Summit对现场听众做出总结:“相机的创造是为了撷取回忆,而Snap重新将相机塑造成一个通讯、娱乐、搜寻以及电子商务平台。”WhHednc

是的,让我们欢迎另类现实摄影。对众多智能手机使用者来说,摄影的价值在于快速变化,智能手机相机能透过将撷取到的影像进行实时编辑、美颜甚至变形,再立即传送到全世界,提供及时行乐的快感。WhHednc

Snap正在利用Snapdragon 865最新的“Hexagon NN (neural network) Direct”功能,可以让智能手机上的Snapchat应用程序实时改变──Monastyrshyn表示其速度接近每秒30 frames──拍照者的脸,变成小朋友的样子。WhHednc

001ednc20191219.pngWhHednc

Snapchat应用程序最知名的变脸功能,左边画面是Snap讲者现在的样子,右边画面中的他立即变成童颜。(来源:EE Times)WhHednc

另一家智能手机应用程序开发商Loom.ai则在高通Tech Summit发表了一种似颜绘(avatar)视频会议应用程序。利用Snapdragon 865的AI引擎,这款LoomieTalk程序能利用深度学习并在手机上创造出“表情丰富”的3D似颜绘;藉由将似颜绘层迭加在实时影像上方,LoomieTalk能追踪并映射使用者透过智能手机参加视频会议的脸部表情与动作。WhHednc

002ednc20191219.pngWhHednc

画面左边的是右边讲者在LoomieTalk应用程序上的似颜绘影像,而且是表情丰富的3D影像。(来源:EE Times)WhHednc

我也是一个不喜欢参加视频会议的人,但我其实不太能了解为什么Loom.ai声称用似颜绘“替身”来参加视频会议,可以减轻那种“不适”或是让会议更有效率。不过我又懂什么呢?也许我就是唯一那个比较喜欢呈现自己真实样貌的人。WhHednc

运算摄影

所有在AI与5G上的努力,并不意味着高通准备放弃对于将专业质量照片与视讯带到智能手机的追求。相反的,高通将新的Spectra 480影像讯号处理器(image signal processor,ISP)整合到在Tech Summit发表的Snapdragon 365中。WhHednc

高通指出,Spectra 480 ISP具备每秒能处理2 gigapixels的速度,这“带来了全新的摄影机功能,包括Dolby Vision视讯撷取、8K视讯录像、200-megapixel照片拍摄,以及同步撷取4K HDR视讯与64-megapixel 照片。”一切看起来都很好,而高该公司把这些花俏的功能放进最新的应用处理器中,透露的一个讯息就是“运算摄影”的崛起。WhHednc

高通摄影机部门产品营销经理P.J. Jacobowitz在台上演说时,将传统相机形容为:“只有一个相机、一个镜头、一个影像传感器以及一个影像讯号处理器;很难只用一个相机来创新。”他总结指出,“运算摄影是未来的摄影;”而像是小米的最新款智能手机整合了5个摄影机、5个镜头、5个传感器与5个ISP,就能实现运算摄影(如下图)。WhHednc

003ednc20191219.pngWhHednc

如市场研究机构TIRIAS Research首席分析师Kevin Krewell告诉EE Times的:“智能手机应用处理器将运算摄影功能赋予那些微小处理器,为传统相机供货商带来很大的压力。”我非常同意他的看法。WhHednc

“相机产业专注于尽可能以最真实的方式重现摄影师看到的影像(基本上是以非常模拟的方式,就算是用数字传感器也是如此),但现在的目标是将影像分解成画素,为每个画素提供(多个)滤镜,再以纯合成的方法重组成影像;”Krewell总结指出:“最终的产品可能会非常有吸引力,但可能与现实不符。”WhHednc

再一次,让我们欢迎为后真相时代(post-truth era)设计的摄影。WhHednc

XR来了!

而直到高通介绍其最新延展实境(extended reality,XR)平台,才真的让人见识到其厉害之处;该公司表示,预计明年问世的Snapdragon XR2 5G平台,是“5G与AI的首度结合。”WhHednc

高通号称XR2能“实现无与伦比的延展实境体验,让使用者能以360度球体环景的每一个视角探索撷取了生动细节的虚拟世界。”据了解,Snapdragon XR2是在高通目前被广泛采用的XR平台上取得大幅进展,强化了CPU与GPU性能、视讯带宽、分辨率与AI。而最引人瞩目的是,XR2支持7个同步摄影机(concurrent cameras)以及专属的计算机视觉处理器。WhHednc

因为XR2提供低延迟的镜头透视(camera pass-through),用户能在VR装置上与混合的虚拟与真实世界互动,提升了“混合实境”(mixed reality)功能。WhHednc

当我了一个视频片段,对于混合实境可以带来的效果真是感到既讶异又惊奇,而且让人震撼。在其中一个画面,带着VR/AR/XR头戴装置的小男孩穿过他家跑上楼梯,跳过一堆地板上的衣物,他看到的墙壁是黑色的砖块或瓦砾,地板上的东西则是需要跳过的障碍物…WhHednc

当然,对于小孩来说,能像是穿越一个战斗区那样穿越自己的家非常有趣;我自己小时候也常这样──不需要头戴装置。我把这个观察告诉坐在我旁边的The Linley Group资深分析师Mike Demler,他也同意,“没错,我们小时候会这样;那不是XR,是想象力。”WhHednc

VR/AR/XR的功能确实强大,看到科技能如此生动地重建各种环境、提供身历其境的经验,让人在延展实境的虚拟世界中与──定位精确的──真实物体互动,真是非常惊奇。但让我觉得不安的是,XR是把一个想象的世界“喂”给孩子们。WhHednc

人类完全具备能自己想象一个天马行空的场景并且沉浸其中的能力,XR是否会剥夺孩子们自己用想象力创造一个世界的机会?Demler表示:“我认为推动这种(延展实境)技术又不做任何对儿童之潜在影响研究(的科技公司),是相当不负责任;”我也同意。WhHednc

我们当然了解VR与AR能成为在工厂或恶劣高温环境中进行车辆维修或是管道疏通的有用工具,但我们却可能因为这样的科技而让孩子们失去想象的乐趣?是谁改变了这一切?WhHednc

同样的情况也发生在我前面提到的摄影。科技能让我们轻松编辑与变化所拍摄的影像是很棒,但,是谁带来了这些改变?我们在智能手机上对影像做变化与编辑的方式,都是热门的应用程序预先定义的。WhHednc

在一个越来越多人只是做剪贴、然后用第三方应用程序预先产生的讯息来社交的世界,越来越少人打造自己的讯息;高通似乎成为“机器中的幽灵”(the ghost in the machine)。让你自己看起来像8岁小孩很有趣,那如果你想扮演的是古代中国皇帝…或是跳舞的鸭嘴兽呢?你会在脑海中想象自己可能看起来很傻的样子,还是等待某家公司卖你特定的App?WhHednc

喔…还有头戴装置。WhHednc

(原文发表于ASPENCORE旗下EDN姐妹每天EETimes,参考链接: Smartphone Photos in a Post-Truth Era,编译:Judith Cheng)WhHednc

 WhHednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • NASA宣布重大发现:月球表面存在水! 美国宇航局(NASA)周一,在提供载人发射的最新情况的同时,宣布了探测到月球表面存在水的这一重大发现。
  • 英特尔7nm工艺已有进展,将由谁来生产? 在移动手机终端和基站的芯片领域,已经实现了5nm量产或者试验,不过在PC和服务器芯片方面,似乎还是停留在10nm的“天堂”,尽管最近英特尔透露7nm芯片已经设计完毕,但是还未正式投产,其生产工艺依然还有问题,那么,其会不会采用第三方代工,将由谁来代工呢?
  • 4Gbps!HBM2E内存接口再现性能标杆 近年来,随着内存带宽逐渐成为影响人工智能持续增长的关键焦点领域之一,以高带宽内存(HBM、HBM2、HBM2E)和GDDR开始逐渐显露头角,成为搭配新一代AI/ML加速器和专用芯片的新型内存解决方案。
  • 苹果要做新款“折叠屏”吗?新专利显示滑出式OLED iPhon 折叠屏在2019年突然大火,但是至今仍然没有量产机型,不过,最近的专利显示,苹果可能正在研究新形势的“折叠屏”,这种“折叠屏”可以在需要时从设备中拉出或卷出的iPhone显示屏,以获得更大的屏幕面积。
  • ASML最新一代EUV光刻机3600D:生产效率增加18% 荷兰ASML(阿斯麦)公布了光刻机产品的最新进展:最新一代EUV光刻机3600D,30mJ/cm2的曝光速度达到每小时曝光160片晶圆,生产率提高了18%,并改进机器匹配套准精度至1.1nm。
  • 印刷电子技术打造低成本、超低压和超低功率的碳纳米管 研究人员已经开发出一种用于印刷电子的新方法,该方法允许超低功率电子设备可以从环境光或射频噪声中充电。该方法为低成本印刷电子产品铺平了道路,这些印刷电子产品可以无缝地嵌入日常物品和环境中。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了