广告

手机拍照进化论:为什么需要图像算法?

2020-11-27 紫光展锐 阅读:
更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。LL0ednc

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。LL0ednc

紫光展锐拥有自主研发的图像算法团队,而且这些算法已普遍应用在展锐的芯片平台里。目前,展锐的图像算法团队已经超过了200人,分布在美国、印度、中国台湾、上海和北京等多个国家和地区。LL0ednc

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~LL0ednc

这事得从人类对色彩的感知能力说起…LL0ednc

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。LL0ednc

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。LL0ednc

LL0ednc

图1:可见光波长及其对应的颜色LL0ednc

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。LL0ednc

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。LL0ednc

LL0ednc

图2:三种视锥细胞对光的响应能力LL0ednc

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。LL0ednc

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~LL0ednc

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。LL0ednc

【自动白平衡】LL0ednc

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。LL0ednc

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。LL0ednc

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。LL0ednc

LL0ednc

图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启LL0ednc

紫光展锐的自动白平衡算法具有以下特点:LL0ednc

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。LL0ednc

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。LL0ednc

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。LL0ednc

【颜色校正】LL0ednc

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。LL0ednc

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。LL0ednc

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。LL0ednc

LL0ednc

图4 :左边是CCM关闭,右边是CCM开启LL0ednc

LL0ednc

图5:展锐CCM模块的色彩还原效果评测LL0ednc

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)LL0ednc

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。LL0ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 小小被动元器件也有大学问 在“高性能被动元器件发展论坛”上,七家厂商分享了有关高性能被动元器件的发展趋势及技术挑战等热门主题。会议最后还召开“国产高性能被动器件的机会和挑战”的圆桌论坛,共同探讨了被动元器件之高性能与挑战、国产化进程、缺货涨价和应对方法,以及市场应用四个重要议题。
  • 富士康电子被动器件准入机制及Commodity管理介绍 在“高性能被动元器件”论坛上,据富士康全球采购总处资深处长江岳峰介绍,今年受疫情的影响,宅经济发酵比较明显。5G手机卖得比较好,与之相关的领域也就比较好,如下面的2020和2021年六大产业成长预测所示。
  • 揭秘嫦娥五号探月十三大步骤 嫦娥五号探月取样成功归来是中国航天事业的一次重大飞跃,其创造了五项中国之首,本文对嫦娥五号“筹备、发射、探月、第二次轨道修正、第一次近月制动、第二次近月制动、组合体分离、着陆月面、月面采样、月面上升、交会对接与样品转移、环月等待与月地转移、轨道器和返回器分离、着陆地球”整个过程的十三个步骤进行了详细介绍。
  • 重磅!ADI中国成立,本地决策权得到提升 ADI公司今日宣布加大对中国市场的投资,将亚德诺半导体技术(上海)有限公司升级为亚德诺半导体(中国)有限公司,并将其作为ADI在中国投资运营的总部型机构。
  • 安卓手机的漏洞都在于系统吗?No,高通芯片级Adreno GPU更 都说安卓手机不安全,漏洞太多,不是被监听就是被植入木马吸费转账之类的,而绝大部分人认为安卓手机的安全根源在于安卓系统。不过,真的如此吗?谷歌最近就发现了高通 Adreno GPU 的“高危”安全漏洞!这种硬件级别的漏洞恐怕更是硬伤!
  • 灵活、易配置的RSL10 Mesh平台帮助加快开发智能家居、 蓝牙低功耗网状网络使以前无法用传统蓝牙技术实现的各种应用成为可能,其价值在于消除范围限制,现已在工业、农业、企业和物流领域以及新兴的智慧城市等多个不同环境得到认可。但运作限制和实施便利性仍是主要挑战。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了