广告

手机拍照进化论:为什么需要图像算法?

2020-11-27 紫光展锐 阅读:
更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。lfXednc

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。lfXednc

紫光展锐拥有自主研发的图像算法团队,而且这些算法已普遍应用在展锐的芯片平台里。目前,展锐的图像算法团队已经超过了200人,分布在美国、印度、中国台湾、上海和北京等多个国家和地区。lfXednc

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~lfXednc

这事得从人类对色彩的感知能力说起…lfXednc

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。lfXednc

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。lfXednc

lfXednc

图1:可见光波长及其对应的颜色lfXednc

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。lfXednc

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。lfXednc

lfXednc

图2:三种视锥细胞对光的响应能力lfXednc

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。lfXednc

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~lfXednc

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。lfXednc

【自动白平衡】lfXednc

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。lfXednc

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。lfXednc

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。lfXednc

lfXednc

图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启lfXednc

紫光展锐的自动白平衡算法具有以下特点:lfXednc

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。lfXednc

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。lfXednc

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。lfXednc

【颜色校正】lfXednc

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。lfXednc

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。lfXednc

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。lfXednc

lfXednc

图4 :左边是CCM关闭,右边是CCM开启lfXednc

lfXednc

图5:展锐CCM模块的色彩还原效果评测lfXednc

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)lfXednc

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。lfXednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • “中国IC设计成就奖”提名产品简介:屏蔽栅金属氧化场效 捷捷微电 (上海) 科技有限公司已推出的 N 沟道 100V 含自有先进平台 JSFET 系列中的 JMSH1001ATL ,采用了经 AEQ-101 验证、具超优热导性能的 PowerJE10x12 (TOLL) 创新型封装。
  • 拆一台苹果万元iMac电脑标配适配器,做工如何? Apple苹果的24英寸iMac已经上市有一段时间了,搭载苹果M1处理器的它性能相较上一代提升了85%,同时机身体积还小了50%。苹果24英寸iMac原装143W适配器A2290,其自带一条特殊的输出线缆,支持15.9V9A输出,下面就随小编一起来看看电源的具体用料做工。
  • Matter的核心:定义下一阶段智能家居的互操作性和无线技 在当今完全互联的世界里,使用各种智能家居的生活环境意味着需要同时与多种无线协议进行交互。照明系统、供暖和制冷系统、安全系统、娱乐系统——现在家庭生活的方方面面几乎都可以通过无线方式进行增强和控制。尽管无线技术的优势众多,但如今家庭中的无线连接并不是一帆风顺的。即便对于深谙各种先进技术的智能家居爱好人士来说,家庭网络中处理各种不兼容的无线协议也构成了挑战。
  • 拆解小米WatchS1智能手表,看看主板上的主要IC来自哪些 根据小米官方的描述,小米智能手表Watch S1型号中的S,取自“Super”的缩写,代表了强大。也代表着S1是面对高端市场的产品。那究竟是否如其名呢?
  • “中国IC设计成就奖”提名产品简介:汽车级高性能可编程 CHA611是意瑞于2019年推出的汽车级可编程线性霍尔芯片,支持 5V 单电源供电,120 kHz带宽,响应时间约2us,支持灵敏度0.8 mV/Gs~ 24 mV/Gs范围内可编程。该产品在全温-40℃~150℃范围内可实现 1% 精度,且芯片出厂前已完成静态(零电流)输出电压的校准,并已通过AEC-Q100认证。
  • “中国IC设计成就奖”提名产品简介:集成电流路径霍尔传 纳芯微NSM201X系列产品主要基于霍尔效应原理,采用隔离的方式将±65A以内的电流转换成线性电压输出,适用于多种隔离电流采样场合,如光伏组串式逆变器DC输入侧MPPT(最大功率点)跟踪的电流检测、工业变频器件中作母线电流及各桥臂电流采样、UPS及服务器电源,充电桩中的隔离电流采样。此外,AEC-100正在认证中,该认证使其可用于新能源汽车OBC(On board charger)的隔离电流采样,空调热管理系统中PTC加热器的隔离电流采样等。NSM201X系列具备高灵敏度,低零点误差及良好的线性度(非线性度正负0.2%)等特性,能够降低器件的整体输出误差,在工作温度范围内,最大测量误差±1.5%。产品目前已经通过UL62368、IEC62368、TUV等认证。
  • “中国IC设计成就奖”提名产品简介:晶圆级微机电铸造技 我们开发的这项技术叫晶圆级微机电铸造技术,将宏观的铸造通过微纳原理缩小一百万倍,在晶圆上实现铸造。这是一项全新的独创性技术。
  • 2G/3G减频退网,NB-IoT、Cat.1谁能替代上位? 众所周知,2G、3G减频退网绝非一帆风顺。所以在国内市场,我们可以看到上至国家政策、下至产业界和运营商,多方为推进2G/3G减频退网做出全方位的准备。尤其是正处市场风口的NB-IoT、Cat.1两大产业链。
  • “中国IC设计成就奖”提名产品简介:炬芯科技蓝牙收发一 炬芯科技ATS2831采用蓝牙5.3双模配置,支持最新的蓝牙标准,集成了蓝牙射频(RF)和基带、电源管理单元(PMU)、音频编解码器及微控制单元(MCU)等模块,集蓝牙发射和蓝牙接收功能于一体,规格完整,性能领先。发射支持双连(同时连接两个蓝牙音箱或蓝牙耳机),支持linein、USB 、SPDIF(光纤或同轴)、I2S、MIC、SD/MMC、SPI等多种音频输入源,支持全格式音频解码,支持屏显,兼容市面主流蓝牙音箱和蓝牙耳机,支持AG 16K高清通话,兼容win7/10/MAC等多种主流操作系统和主流通话软件,HFP通话端到端(dongle到音箱整个链路)延时低至60ms,经典蓝牙模式下端到端整个链路延时可以低至30ms以下,处于业界领先水平。支持双向高清语音同时传输。已大量应用于蓝牙收发一体dongle,电竞耳机,游戏机dongle,会议音箱dongle,话务耳机dongle和无线麦克风相关产品,并被绿联,安可创新等知名品牌采用。
  • “中国IC设计成就奖”提名产品简介:炬芯科技智能手表芯 炬芯科技智能手表ATS3085,是一颗高集成度的芯片。基于MCU+DSP的双核异构的架构,并加入图形加速引擎、Sensorhub模块、蓝牙射频(RF)和基带、电源管理单元(PMU)、音频编解码器、屏和传感器外设接口模块等,为智能手表量身打造。单颗芯片实现驱动显示屏,运行运动健康算法,蓝牙通话,本地解码,蓝牙推歌到TWS耳机等功能。
  • “中国IC设计成就奖”提名产品简介:45V单刀四掷天线调 WS7844QA -10/TR 是一款45V单刀四掷天线调谐开关,其较低的导通电阻和关断电容非常适合多模 GSM、EDGE、WCDMA和 LTE手机及各类通讯模块应用,可以显著提高其天线效率。
  • “中国IC设计成就奖”提名产品:MediaTek MT9638智能电 MediaTek全新的4K智能电视芯片MT9638不仅拥有强劲的性能,还支持多项领先技术。其特性包括AI图像画质增强技术(AI-PQ),智能识别内容场景,优化每一帧画面的色彩饱和度、亮度、锐利度、动态补偿及降噪,提升整体画质。此外,MT9638支持AI分辨率技术(AI-SR),可智能提升画面的分辨率,让画面更清晰,结合MEMC动态补偿提供更精彩的4K观影体验。凭借电视芯片的先进技术和全面的产品组合,MediaTek在新时代的智能电视市场持续领跑。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了