广告

手机拍照进化论:为什么需要图像算法?

2020-11-27 16:49:04 紫光展锐 阅读:
更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。PoMednc

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。PoMednc

紫光展锐拥有自主研发的图像算法团队,而且这些算法已普遍应用在展锐的芯片平台里。目前,展锐的图像算法团队已经超过了200人,分布在美国、印度、中国台湾、上海和北京等多个国家和地区。PoMednc

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~PoMednc

这事得从人类对色彩的感知能力说起…PoMednc

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。PoMednc

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。PoMednc

PoMednc

图1:可见光波长及其对应的颜色PoMednc

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。PoMednc

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。PoMednc

PoMednc

图2:三种视锥细胞对光的响应能力PoMednc

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。PoMednc

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~PoMednc

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。PoMednc

【自动白平衡】PoMednc

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。PoMednc

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。PoMednc

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。PoMednc

PoMednc

图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启PoMednc

紫光展锐的自动白平衡算法具有以下特点:PoMednc

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。PoMednc

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。PoMednc

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。PoMednc

【颜色校正】PoMednc

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。PoMednc

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。PoMednc

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。PoMednc

PoMednc

图4 :左边是CCM关闭,右边是CCM开启PoMednc

PoMednc

图5:展锐CCM模块的色彩还原效果评测PoMednc

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)PoMednc

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。PoMednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 波兰网友拆德国产电源插排,内部竟是中国制造?! 本文将会介绍LogiLink LPS262U电源插排(接线板)——包含三个USB端口和两个Schuko插座——的内部结构及其简短测试。
  • 苹果发布2022财年第三财季业绩,营收829.59亿美元 Apple 今日公布了 2022 年第三财季的财务业绩。报告显示,苹果公司第三财季公布收入为 829.59亿美元,去年同期为 814 亿美元,同比增长2%;季度净利润为 194 .4亿美元,去年同期为217 亿美元,同比下降10.6%;其中,iPhone带来的营收406.7亿美元,同比增长3%。
  • 工程师开发出可以看到身体内部的贴纸 麻省理工学院的工程师设计了一种贴片,可以产生身体的超声图像。这种邮票大小的设备贴在皮肤上,可以提供 48 小时内脏器官的连续超声成像。
  • 儿童电子学(二):电容器 电容器是最重要的电气元件之一,我们将在儿童基础电子课程的第二部分了解它的工作原理我们将从储能功能方面对其进行探索,所进行的测试和实验将侧重于这一要素。
  • 俄罗斯要绕过5G直接开发6G!投资300亿卢布够吗? 在全球通信技术竞争上,中国的5G发展速度遥遥领先于其他国家,更多国家开始在6G上较劲儿。今日,“俄罗斯决定绕过5G直接开发6G网络”登上热榜,引起网友热议。
  • Works With 2022开发者大会主题演讲嘉宾出炉,聚集全球 Silicon Labs引领物联网殿堂级行业盛事,今年扩大规模更胜以往
  • 华为天才少年稚晖君用108天打了个字,重新定义客制化键 自称“鸽王”的稚晖君终于更新啦。这次他带来的新项目则是:一把完全客制化、带屏幕模块的机械键盘!有网友表示,稚晖君的这个新项目,为键圈乃至整个键盘行业提供了新的设计思路,甚至有望改变目前客制化以换壳为本的囧境。
  • Cadence中国区线上用户大会-2022 会议将集聚Cadence的技术用户、开发者与业界专家,涵盖最完整的先进技术交流平台,从IP/SoC设计、验证仿真、系统分析及多物理场仿真、计算流体力学,到封装和板级设计的全流程的技术分享, 以及针对自动驾驶、人工智能、网络和5G/6G、云服务等创新应用的客户案例分享。您也将有机会和开发Cadence工具和IP的技术专家们进行对话。与此同时,还有丰富礼品等您来赢。 新的故事总会在盛夏开始序曲,新的灵感也极有可能于技术交流中迸发。
  • 苹果iPhone 14 Pro、iPhone 14 Pro Max 将采用更快的 随着iPhone 14系列发布的临近,iPhone 14系列的内存供应商也被曝光。一份由DigiTimes发表的报道显示,今年晚些时候到达的"Pro"型号将配备6GB LPDDR5内存,这比当前一代的iPhone 13 Pro和iPhone 13 Pro Max都有6GB LPDDR4X内存提升了一代。
  • 苹果芯片专家被三星挖走,担任新封装解决方案中心总监 在苹果扩张自研芯片版图的同时,也有半导体公司从苹果“挖”半导体专家,三星就是其中之一。据韩国商务部的一则消息指出,一位在苹果工作了九年的芯片专家离开了公司,加入了三星。
  • EA Elektro-Automatik代表与中国驻德大使共商中国市 EA Elektro-Automatik受邀参加主题为“变革中的贸易?不确定性时代的中德经济关系展望”的高层外贸战略论坛,为公司在中国市场实现重要增长进行规划并奠定基础。
  • 碳化硅电力电子应用不止于汽车 第三代宽禁带半导体——碳化硅(SiC)——正在发挥其众所周知的潜力,在过去五年内,汽车行业一直是该材料的公开试验场。然而,电气化议程不会以汽车开始和结束。更广泛的运输应用将很快出现,包括卡车和公共汽车、船舶和航运、火车的进一步电气化,甚至飞机。在供电方面,并网太阳能发电系统和通过高压直流链路传输能源,对于低碳能源的生产和分配也至关重要。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了