广告

XR来了!5G与AI的首度结合

2019-12-19 10:36:01 Junko Yoshida 阅读:
从智能手机App以及VR头戴式装置看到的影像,框住了你的想象力吗?

传统相机制造商如Nikon、Canon与Pentax,在设计系统时会有一个共同目标:追求真实。数十年来,他们了解无论是专业或业余摄影,都致力于捕捉如同发生那一瞬间般准确且生动的生活点滴。如果这种传统的写实主义是一个极端,合成影像──现在更恰当的名称是“运算摄影”(computational photography)──就是另一个极端。E4yednc

笔者在不久前参加了高通(Qualcomm)的年度技术高峰会(Tech Summit),该公司在会中发表了最新的Snapdragon 865应用处理器;采用该处理器的智能手机相机可搭载强大的AI引擎,并且能处理多个影像传感器。这让我突然领悟,我所知的“摄影”已经完全改变其意义。E4yednc

智能手机相机的价值

今日的智能手机相机使用者非常喜爱可以直接在手机上实时编辑、改变所撷取影像的功能,只要简单一个按钮,就能创造出“另类”的现实。E4yednc

热门智能手机应用程序Snapchat的开发商Snap资深工程总监Yurii Monastyrshyn在Tech Summit对现场听众做出总结:“相机的创造是为了撷取回忆,而Snap重新将相机塑造成一个通讯、娱乐、搜寻以及电子商务平台。”E4yednc

是的,让我们欢迎另类现实摄影。对众多智能手机使用者来说,摄影的价值在于快速变化,智能手机相机能透过将撷取到的影像进行实时编辑、美颜甚至变形,再立即传送到全世界,提供及时行乐的快感。E4yednc

Snap正在利用Snapdragon 865最新的“Hexagon NN (neural network) Direct”功能,可以让智能手机上的Snapchat应用程序实时改变──Monastyrshyn表示其速度接近每秒30 frames──拍照者的脸,变成小朋友的样子。E4yednc

001ednc20191219.pngE4yednc

Snapchat应用程序最知名的变脸功能,左边画面是Snap讲者现在的样子,右边画面中的他立即变成童颜。(来源:EE Times)E4yednc

另一家智能手机应用程序开发商Loom.ai则在高通Tech Summit发表了一种似颜绘(avatar)视频会议应用程序。利用Snapdragon 865的AI引擎,这款LoomieTalk程序能利用深度学习并在手机上创造出“表情丰富”的3D似颜绘;藉由将似颜绘层迭加在实时影像上方,LoomieTalk能追踪并映射使用者透过智能手机参加视频会议的脸部表情与动作。E4yednc

002ednc20191219.pngE4yednc

画面左边的是右边讲者在LoomieTalk应用程序上的似颜绘影像,而且是表情丰富的3D影像。(来源:EE Times)E4yednc

我也是一个不喜欢参加视频会议的人,但我其实不太能了解为什么Loom.ai声称用似颜绘“替身”来参加视频会议,可以减轻那种“不适”或是让会议更有效率。不过我又懂什么呢?也许我就是唯一那个比较喜欢呈现自己真实样貌的人。E4yednc

运算摄影

所有在AI与5G上的努力,并不意味着高通准备放弃对于将专业质量照片与视讯带到智能手机的追求。相反的,高通将新的Spectra 480影像讯号处理器(image signal processor,ISP)整合到在Tech Summit发表的Snapdragon 365中。E4yednc

高通指出,Spectra 480 ISP具备每秒能处理2 gigapixels的速度,这“带来了全新的摄影机功能,包括Dolby Vision视讯撷取、8K视讯录像、200-megapixel照片拍摄,以及同步撷取4K HDR视讯与64-megapixel 照片。”一切看起来都很好,而高该公司把这些花俏的功能放进最新的应用处理器中,透露的一个讯息就是“运算摄影”的崛起。E4yednc

高通摄影机部门产品营销经理P.J. Jacobowitz在台上演说时,将传统相机形容为:“只有一个相机、一个镜头、一个影像传感器以及一个影像讯号处理器;很难只用一个相机来创新。”他总结指出,“运算摄影是未来的摄影;”而像是小米的最新款智能手机整合了5个摄影机、5个镜头、5个传感器与5个ISP,就能实现运算摄影(如下图)。E4yednc

003ednc20191219.pngE4yednc

如市场研究机构TIRIAS Research首席分析师Kevin Krewell告诉EE Times的:“智能手机应用处理器将运算摄影功能赋予那些微小处理器,为传统相机供货商带来很大的压力。”我非常同意他的看法。E4yednc

“相机产业专注于尽可能以最真实的方式重现摄影师看到的影像(基本上是以非常模拟的方式,就算是用数字传感器也是如此),但现在的目标是将影像分解成画素,为每个画素提供(多个)滤镜,再以纯合成的方法重组成影像;”Krewell总结指出:“最终的产品可能会非常有吸引力,但可能与现实不符。”E4yednc

再一次,让我们欢迎为后真相时代(post-truth era)设计的摄影。E4yednc

XR来了!

而直到高通介绍其最新延展实境(extended reality,XR)平台,才真的让人见识到其厉害之处;该公司表示,预计明年问世的Snapdragon XR2 5G平台,是“5G与AI的首度结合。”E4yednc

高通号称XR2能“实现无与伦比的延展实境体验,让使用者能以360度球体环景的每一个视角探索撷取了生动细节的虚拟世界。”据了解,Snapdragon XR2是在高通目前被广泛采用的XR平台上取得大幅进展,强化了CPU与GPU性能、视讯带宽、分辨率与AI。而最引人瞩目的是,XR2支持7个同步摄影机(concurrent cameras)以及专属的计算机视觉处理器。E4yednc

因为XR2提供低延迟的镜头透视(camera pass-through),用户能在VR装置上与混合的虚拟与真实世界互动,提升了“混合实境”(mixed reality)功能。E4yednc

当我了一个视频片段,对于混合实境可以带来的效果真是感到既讶异又惊奇,而且让人震撼。在其中一个画面,带着VR/AR/XR头戴装置的小男孩穿过他家跑上楼梯,跳过一堆地板上的衣物,他看到的墙壁是黑色的砖块或瓦砾,地板上的东西则是需要跳过的障碍物…E4yednc

当然,对于小孩来说,能像是穿越一个战斗区那样穿越自己的家非常有趣;我自己小时候也常这样──不需要头戴装置。我把这个观察告诉坐在我旁边的The Linley Group资深分析师Mike Demler,他也同意,“没错,我们小时候会这样;那不是XR,是想象力。”E4yednc

VR/AR/XR的功能确实强大,看到科技能如此生动地重建各种环境、提供身历其境的经验,让人在延展实境的虚拟世界中与──定位精确的──真实物体互动,真是非常惊奇。但让我觉得不安的是,XR是把一个想象的世界“喂”给孩子们。E4yednc

人类完全具备能自己想象一个天马行空的场景并且沉浸其中的能力,XR是否会剥夺孩子们自己用想象力创造一个世界的机会?Demler表示:“我认为推动这种(延展实境)技术又不做任何对儿童之潜在影响研究(的科技公司),是相当不负责任;”我也同意。E4yednc

我们当然了解VR与AR能成为在工厂或恶劣高温环境中进行车辆维修或是管道疏通的有用工具,但我们却可能因为这样的科技而让孩子们失去想象的乐趣?是谁改变了这一切?E4yednc

同样的情况也发生在我前面提到的摄影。科技能让我们轻松编辑与变化所拍摄的影像是很棒,但,是谁带来了这些改变?我们在智能手机上对影像做变化与编辑的方式,都是热门的应用程序预先定义的。E4yednc

在一个越来越多人只是做剪贴、然后用第三方应用程序预先产生的讯息来社交的世界,越来越少人打造自己的讯息;高通似乎成为“机器中的幽灵”(the ghost in the machine)。让你自己看起来像8岁小孩很有趣,那如果你想扮演的是古代中国皇帝…或是跳舞的鸭嘴兽呢?你会在脑海中想象自己可能看起来很傻的样子,还是等待某家公司卖你特定的App?E4yednc

喔…还有头戴装置。E4yednc

(原文发表于ASPENCORE旗下EDN姐妹每天EETimes,参考链接: Smartphone Photos in a Post-Truth Era,编译:Judith Cheng)E4yednc

 E4yednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 商务部暂停天然砂对台湾地区出口,台积电难受了 据EDN电子技术设计了解,商务部网站8月3日早晨8点发布最新消息,表示将从即日起暂停天然砂对台湾地区出口。不少网友认为暂停天然砂对台湾地区的出口,此举将严重影响台湾的建筑业,实则影响不仅仅如此。台湾地区天然砂进口量的90%以上来自大陆,而台湾芯片占台湾2021年出口额的34.8%。网友称商务部暂停天然砂对台湾地区出口是捏到了台湾半导体制造业的七寸。
  • 华盛顿大学首创用人体热能为可穿戴电子设备供电 从健康和健身追踪器到虚拟现实设备,可穿戴电子产品已成为我们日常生活的一部分,但找到持续为这些设备供电的方法是一项挑战。华盛顿大学的研究人员开发了一种创新的解决方案:首创的柔性、可穿戴热电设备,可将体热转化为电能。
  • 理想ONE高速起火烧成光架,其1.2T三缸增程器曾被指隐藏 近期,网络平台上发布了一段理想ONE在行驶过程中,车辆出现起火的视频内容。现场拍摄的灭火后图片显示,该轿车过火后仅剩骨架,车辆前部增程器位置受损严重,车辆尾门已经在过火后从车身主体脱落。此前,曾有国内汽车媒体对一台行驶了10万公里的理想ONE的东安1.2T三缸增程发动机进行拆解,被指隐藏暗病。
  • 上海微系统所使用石墨烯纳米带研制出世界上最小尺寸的 非易失性相变随机存取存储器(PCRAM)被认为是大数据时代新兴海量存储的有希望的候选者之一。然而,相对较高的编程能量阻碍了 PCRAM 中功耗的进一步降低。利用石墨烯的窄边接触可以有效降低每个电池中相变材料的活性体积,从而实现低功耗运行。
  • 可解决工业自动化和IIoT挑战的MCU 工业自动化和工业物联网(IIoT)设计人员的性能要求不断变化。就MCU而言,他们希望获得更快的处理速度、更多的内存、更好的连接性和更多的安全功能。
  • 苹果发布2022财年第三财季业绩,营收829.59亿美元 Apple 今日公布了 2022 年第三财季的财务业绩。报告显示,苹果公司第三财季公布收入为 829.59亿美元,去年同期为 814 亿美元,同比增长2%;季度净利润为 194 .4亿美元,去年同期为217 亿美元,同比下降10.6%;其中,iPhone带来的营收406.7亿美元,同比增长3%。
  • 工程师开发出可以看到身体内部的贴纸 麻省理工学院的工程师设计了一种贴片,可以产生身体的超声图像。这种邮票大小的设备贴在皮肤上,可以提供 48 小时内脏器官的连续超声成像。
  • 美国参议院批准价值2460亿美元的芯片法案 美国参议院周三通过立法,以超过 750 亿美元支持国内半导体产业。GlobalFoundries、英特尔、三星代工厂、德州仪器、台积电和其他在美国建立半导体制造设施的公司或将受益。
  • 第三代半导体——碳化硅材料之制程与分析 SiC功率电子是加速电动车时代到来的主要动能。以SiC MOSFET取代目前的Si IGBT,不仅能使电力移转时的能源损耗降低80%以上,同时也可让芯片模块尺寸微缩至原本的1/10,达到延长电动车续航里程及缩短充电时间的功效。
  • 开源软件真的可靠吗? 乍看之下,采用开源软件似乎是个不错的办法,但归根究底,开源软件有几个特性可能会使其变得“邪恶”...
  • GaN是否可靠? GaN产业已经建立一套方法来保证GaN产品的可靠性,因此问题并不在于“GaN是否可靠?”,而是“如何验证GaN的可靠性?”
  • 华为天才少年稚晖君用108天打了个字,重新定义客制化键 自称“鸽王”的稚晖君终于更新啦。这次他带来的新项目则是:一把完全客制化、带屏幕模块的机械键盘!有网友表示,稚晖君的这个新项目,为键圈乃至整个键盘行业提供了新的设计思路,甚至有望改变目前客制化以换壳为本的囧境。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了