广告

XR来了!5G与AI的首度结合

2019-12-19 Junko Yoshida 阅读:
从智能手机App以及VR头戴式装置看到的影像,框住了你的想象力吗?

传统相机制造商如Nikon、Canon与Pentax,在设计系统时会有一个共同目标:追求真实。数十年来,他们了解无论是专业或业余摄影,都致力于捕捉如同发生那一瞬间般准确且生动的生活点滴。如果这种传统的写实主义是一个极端,合成影像──现在更恰当的名称是“运算摄影”(computational photography)──就是另一个极端。cx8ednc

笔者在不久前参加了高通(Qualcomm)的年度技术高峰会(Tech Summit),该公司在会中发表了最新的Snapdragon 865应用处理器;采用该处理器的智能手机相机可搭载强大的AI引擎,并且能处理多个影像传感器。这让我突然领悟,我所知的“摄影”已经完全改变其意义。cx8ednc

智能手机相机的价值

今日的智能手机相机使用者非常喜爱可以直接在手机上实时编辑、改变所撷取影像的功能,只要简单一个按钮,就能创造出“另类”的现实。cx8ednc

热门智能手机应用程序Snapchat的开发商Snap资深工程总监Yurii Monastyrshyn在Tech Summit对现场听众做出总结:“相机的创造是为了撷取回忆,而Snap重新将相机塑造成一个通讯、娱乐、搜寻以及电子商务平台。”cx8ednc

是的,让我们欢迎另类现实摄影。对众多智能手机使用者来说,摄影的价值在于快速变化,智能手机相机能透过将撷取到的影像进行实时编辑、美颜甚至变形,再立即传送到全世界,提供及时行乐的快感。cx8ednc

Snap正在利用Snapdragon 865最新的“Hexagon NN (neural network) Direct”功能,可以让智能手机上的Snapchat应用程序实时改变──Monastyrshyn表示其速度接近每秒30 frames──拍照者的脸,变成小朋友的样子。cx8ednc

001ednc20191219.pngcx8ednc

Snapchat应用程序最知名的变脸功能,左边画面是Snap讲者现在的样子,右边画面中的他立即变成童颜。(来源:EE Times)cx8ednc

另一家智能手机应用程序开发商Loom.ai则在高通Tech Summit发表了一种似颜绘(avatar)视频会议应用程序。利用Snapdragon 865的AI引擎,这款LoomieTalk程序能利用深度学习并在手机上创造出“表情丰富”的3D似颜绘;藉由将似颜绘层迭加在实时影像上方,LoomieTalk能追踪并映射使用者透过智能手机参加视频会议的脸部表情与动作。cx8ednc

002ednc20191219.pngcx8ednc

画面左边的是右边讲者在LoomieTalk应用程序上的似颜绘影像,而且是表情丰富的3D影像。(来源:EE Times)cx8ednc

我也是一个不喜欢参加视频会议的人,但我其实不太能了解为什么Loom.ai声称用似颜绘“替身”来参加视频会议,可以减轻那种“不适”或是让会议更有效率。不过我又懂什么呢?也许我就是唯一那个比较喜欢呈现自己真实样貌的人。cx8ednc

运算摄影

所有在AI与5G上的努力,并不意味着高通准备放弃对于将专业质量照片与视讯带到智能手机的追求。相反的,高通将新的Spectra 480影像讯号处理器(image signal processor,ISP)整合到在Tech Summit发表的Snapdragon 365中。cx8ednc

高通指出,Spectra 480 ISP具备每秒能处理2 gigapixels的速度,这“带来了全新的摄影机功能,包括Dolby Vision视讯撷取、8K视讯录像、200-megapixel照片拍摄,以及同步撷取4K HDR视讯与64-megapixel 照片。”一切看起来都很好,而高该公司把这些花俏的功能放进最新的应用处理器中,透露的一个讯息就是“运算摄影”的崛起。cx8ednc

高通摄影机部门产品营销经理P.J. Jacobowitz在台上演说时,将传统相机形容为:“只有一个相机、一个镜头、一个影像传感器以及一个影像讯号处理器;很难只用一个相机来创新。”他总结指出,“运算摄影是未来的摄影;”而像是小米的最新款智能手机整合了5个摄影机、5个镜头、5个传感器与5个ISP,就能实现运算摄影(如下图)。cx8ednc

003ednc20191219.pngcx8ednc

如市场研究机构TIRIAS Research首席分析师Kevin Krewell告诉EE Times的:“智能手机应用处理器将运算摄影功能赋予那些微小处理器,为传统相机供货商带来很大的压力。”我非常同意他的看法。cx8ednc

“相机产业专注于尽可能以最真实的方式重现摄影师看到的影像(基本上是以非常模拟的方式,就算是用数字传感器也是如此),但现在的目标是将影像分解成画素,为每个画素提供(多个)滤镜,再以纯合成的方法重组成影像;”Krewell总结指出:“最终的产品可能会非常有吸引力,但可能与现实不符。”cx8ednc

再一次,让我们欢迎为后真相时代(post-truth era)设计的摄影。cx8ednc

XR来了!

而直到高通介绍其最新延展实境(extended reality,XR)平台,才真的让人见识到其厉害之处;该公司表示,预计明年问世的Snapdragon XR2 5G平台,是“5G与AI的首度结合。”cx8ednc

高通号称XR2能“实现无与伦比的延展实境体验,让使用者能以360度球体环景的每一个视角探索撷取了生动细节的虚拟世界。”据了解,Snapdragon XR2是在高通目前被广泛采用的XR平台上取得大幅进展,强化了CPU与GPU性能、视讯带宽、分辨率与AI。而最引人瞩目的是,XR2支持7个同步摄影机(concurrent cameras)以及专属的计算机视觉处理器。cx8ednc

因为XR2提供低延迟的镜头透视(camera pass-through),用户能在VR装置上与混合的虚拟与真实世界互动,提升了“混合实境”(mixed reality)功能。cx8ednc

当我了一个视频片段,对于混合实境可以带来的效果真是感到既讶异又惊奇,而且让人震撼。在其中一个画面,带着VR/AR/XR头戴装置的小男孩穿过他家跑上楼梯,跳过一堆地板上的衣物,他看到的墙壁是黑色的砖块或瓦砾,地板上的东西则是需要跳过的障碍物…cx8ednc

当然,对于小孩来说,能像是穿越一个战斗区那样穿越自己的家非常有趣;我自己小时候也常这样──不需要头戴装置。我把这个观察告诉坐在我旁边的The Linley Group资深分析师Mike Demler,他也同意,“没错,我们小时候会这样;那不是XR,是想象力。”cx8ednc

VR/AR/XR的功能确实强大,看到科技能如此生动地重建各种环境、提供身历其境的经验,让人在延展实境的虚拟世界中与──定位精确的──真实物体互动,真是非常惊奇。但让我觉得不安的是,XR是把一个想象的世界“喂”给孩子们。cx8ednc

人类完全具备能自己想象一个天马行空的场景并且沉浸其中的能力,XR是否会剥夺孩子们自己用想象力创造一个世界的机会?Demler表示:“我认为推动这种(延展实境)技术又不做任何对儿童之潜在影响研究(的科技公司),是相当不负责任;”我也同意。cx8ednc

我们当然了解VR与AR能成为在工厂或恶劣高温环境中进行车辆维修或是管道疏通的有用工具,但我们却可能因为这样的科技而让孩子们失去想象的乐趣?是谁改变了这一切?cx8ednc

同样的情况也发生在我前面提到的摄影。科技能让我们轻松编辑与变化所拍摄的影像是很棒,但,是谁带来了这些改变?我们在智能手机上对影像做变化与编辑的方式,都是热门的应用程序预先定义的。cx8ednc

在一个越来越多人只是做剪贴、然后用第三方应用程序预先产生的讯息来社交的世界,越来越少人打造自己的讯息;高通似乎成为“机器中的幽灵”(the ghost in the machine)。让你自己看起来像8岁小孩很有趣,那如果你想扮演的是古代中国皇帝…或是跳舞的鸭嘴兽呢?你会在脑海中想象自己可能看起来很傻的样子,还是等待某家公司卖你特定的App?cx8ednc

喔…还有头戴装置。cx8ednc

(原文发表于ASPENCORE旗下EDN姐妹每天EETimes,参考链接: Smartphone Photos in a Post-Truth Era,编译:Judith Cheng)cx8ednc

 cx8ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 从技术角度分析,GaN和SiC功率器件上量还欠什么? 氮化镓(GaN)和碳化硅(SiC)这两种新器件正在推动电力电子行业发生重大变化,它们在汽车、数据中心、可再生能源、航空航天和电机驱动等多个行业取得了长足的进步。在由AspenCore集团举办的PowerUP Expo大会上,演讲嘉宾们深入探讨了包括GaN和SiC在内的宽禁带(WBG)器件的技术优势以及发展趋势。
  • 研发转至FAE(现场应用工程师),是否远离技术了?有前途吗? 前几日,EDN小编在浏览知乎的时候,发现了一个有趣的话题《FAE有什么发展前景吗?》,被浏览次数接近九万次。小编总结了一下题主的提问:FAE是否远离技术了?未来是否有发展前景?
  • 美国商务部宣布对俄罗斯出口限制:在技术上孤立并削弱其 美国时间2022 年 2 月 24 日,美国商务部通过其工业和安全局 (BIS) 对俄罗斯进一步入侵乌克兰作出回应,实施了一系列全面的严格出口管制措施,这些管制措施将严重限制俄罗斯获得其需要维持的技术和其他物品其侵略性的军事能力。
  • 华为储备芯片麒麟9000L曝光:支持5G,三星5nm工艺 众所周知,华为自研麒麟芯片早已经库存不足,华为新款的终端产品也已开始搭载高通骁龙芯片。但近日,多位数码博主爆料称,华为Mate40E衍生版机型有望在3月初发布(或命名华为Mate40E Pro),搭载麒麟9000L芯片,支持5G网络。其中,麒麟9000L芯片备受关注,最重要的是,该机支持5G网络。
  • 电子工业落后的俄罗斯“秒赢”乌克兰,电子作战系统强在 2月24日,俄罗斯总统普京决定在顿巴斯开展特别军事行动,然而,开战一小时后,俄罗斯国防部称,高精度武器正在让乌克兰空军的军事基础设施、防空设备、军用机场和航空队失去战斗能力。那么俄罗斯这个战斗民族,在半导体、科技方面到底有哪些特色呢?
  • 2022年五个值得关注的半导体行业趋势 众所周知,2021年的半导体需求不寻常,而且有些膨胀。与疫情相关的IC短缺和供应问题导致客户将订单增加了约15%,供应商将价格提高了约15%。这种恶化的需求比正常需求高出约30%。知道了这一点,2020年有望以以下趋势卷土重来:
  • 动力电池回收价格飙升,优化回收过程新发现 目前引起很多兴趣的一种方法是将热预处理和湿法冶金相结合,其中使用水化学来回收金属。几家公司正在开发将使用这种组合的系统,但瑞典查尔姆斯理工大学的研究人员发现,这些公司在其工艺中使用的温度和时间差异很大,因此非常需要进行比较研究来确定回收锂离子电池的最佳热处理和湿法冶金工艺。
  • 光罩制作前的芯片工程设计变更 随着芯片集成度越来越高和功能越来越复杂,在芯片开发过程中很容易产生缺陷。为确保芯片中的功能不受到影响,在流片前修复这些缺陷非常重要。本文将介绍如何通过手工修改网表代码或使用Conformal或Formality等工具执行工程设计变更单 (ECO),来修复RTL固定后发现的缺陷。
  • 对比美光、三星、SK 海力士的DDR5内存 本文比较了美光、三星和 SK 海力士的 DDR4-3200 和 DDR5-4800 芯片的 DDR5 芯片尺寸、存储密度、DRAM 单元尺寸和设计规则。
  • 世界上最小的电池,比一粒盐还小! 智能微尘是微电子和纳米电子领域最有前途的未来技术之一。在最近出版的《Advanced Energy Materials》中,研究人员讨论了如何在亚毫米级实现电池供电的智能粉尘应用,并展示了迄今为止世界上最小的电池作为面向应用的原型。
  • 聚焦芯片异质整合技术,应材、IME扩展研发合作 双方在芯片异质整合方面的合作研究计划延长五年,目的是着重于加速在混合键合(hybrid bonding)与其他新3D芯片整合技术的材料、设备和制程技术突破。
  • 盘点北京冬奥会闭幕式上的中国科技 昨夜,2022北京冬奥会圆满收官。从开幕式综合运用人工智能、5G、裸眼3D和云计算等多种科技成果起,人工智能、8K+5G转播、数字孪生、智能机器人、辅助驾驶、虚拟数字人等新兴技术齐上阵,为冬奥会保驾护航。到闭幕式的数字表演与仿真技术、100%国产设备挑大梁以及以火箭运载思路设计的电池系统等,让中国科技在世界面前大放异彩。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了