广告

手机拍照进化论:为什么需要图像算法?

2020-11-27 16:49:04 紫光展锐 阅读:
更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。yn9ednc

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。yn9ednc

紫光展锐拥有自主研发的图像算法团队,而且这些算法已普遍应用在展锐的芯片平台里。目前,展锐的图像算法团队已经超过了200人,分布在美国、印度、中国台湾、上海和北京等多个国家和地区。yn9ednc

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~yn9ednc

这事得从人类对色彩的感知能力说起…yn9ednc

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。yn9ednc

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。yn9ednc

yn9ednc

图1:可见光波长及其对应的颜色yn9ednc

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。yn9ednc

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。yn9ednc

yn9ednc

图2:三种视锥细胞对光的响应能力yn9ednc

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。yn9ednc

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~yn9ednc

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。yn9ednc

【自动白平衡】yn9ednc

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。yn9ednc

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。yn9ednc

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。yn9ednc

yn9ednc

图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启yn9ednc

紫光展锐的自动白平衡算法具有以下特点:yn9ednc

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。yn9ednc

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。yn9ednc

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。yn9ednc

【颜色校正】yn9ednc

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。yn9ednc

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。yn9ednc

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。yn9ednc

yn9ednc

图4 :左边是CCM关闭,右边是CCM开启yn9ednc

yn9ednc

图5:展锐CCM模块的色彩还原效果评测yn9ednc

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)yn9ednc

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。yn9ednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 麻省理工开发出纸一样薄的太阳能电池,每公斤功率是传统 麻省理工学院称其工程师开发出超轻织物太阳能电池,可以快速轻松地将任何表面变成电源。这些耐用、灵活的太阳能电池比人的头发丝细得多,粘在坚固、轻便的织物上,使其易于安装在固定表面上。它们的重量是传统太阳能电池板的百分之一,每公斤产生的功率是传统太阳能电池板的18倍。
  • 利用CMOS触发器“标签外”用法实现精密电容传感器 当涉及到药品时,“标签外”一词表明了某种药物(经常被发现)的不同于最初开发的实际而有益的用途。电子元器件也会出现这种情况,例如古老的CD4013B双D CMOS触发器。尽管将4013标记为传统的双稳态逻辑元件,但它却能用作模拟器件而具有极好的标签外潜力。
  • 6-42VDC超宽压输入、小功率汽车级DC/DC模块电源 ——C CUWF24_J(Y)T-3/6WR3系列是为满足汽车市场对电源模块高耐压、优良EMI、SMD封装的要求汽车级高隔离DC/DC电源产品。拥有6-42VDC超宽输入电压范围,3000VAC高隔离耐压,效率高达80%,工作温度范围宽至-40℃ to +105℃,按照IATF16949 体系管控,整机满足AEC-Q100 汽车标准。
  • 如何搭建可靠的汽车CAN网络? 现场总线使得自控系统与设备具备通讯能力,使汽车中各设备之间组成一个网络系统。其中CAN隶属于汽车C类总线标准,主要用于汽车安全相关及实时性要求较高的场合,本文将从CAN总线在汽车上的设计,给出可靠的解决方案。
  • 大联大品佳集团推出基于Infineon iMotion产品的冰箱 大联大控股宣布,其旗下品佳推出基于英飞凌(Infineon)IMC101T的冰箱压缩机方案。
  • 汽车智能座舱解决方案 "SCT24XX系列同步降压变换器具有效率高、静态电流超低、FSS(频率扩频)改善EMI、性价比高等特点。 SCT12AX同步升压变换器系列具有极宽的输入和输出范围,应用灵活,热性能好,Rdson小,静态电流低,可调自适应输出,能够延长电池寿命。额外的保护(FB引脚过电压保护和负载断开控制)更安全和经济有效的应用。"
  • CS32G020Q:车规车载PD快充产品 CS32G020Q是一款支持USB Type-C 和 PD3.0 协议的车规级32位PD MCU。该产品能够满足充放电、投屏、数据传输的高集成应用,实现单颗芯片支持两路独立Type C、全兼容主流协议、支持QFN32封装,满足AEC-Q100 Grade2,适用于车载充电控制器设计。
  • #芯海科技 芯海科技成立于2003年9月,是一家集感知、计算、控制、连接于一体的全信号链集成电路设计企业。专注于高精度ADC、高可靠性MCU、测量算法以及AIoT一站式解决方案的研发设计。产品和方案广泛应用于工业测量与工业控制、通信与计算机、锂电管理、消费电子、汽车电子、智慧家居、智能仪表、智慧健康等领域。 公司总部位于深圳,在合肥、西安、上海、成都设立子公司,是国家级高新技术企业,被广东省科技厅认定为“广东省物联网芯片开发与应用工程技术研究中心”,获得国家级专精特新“小巨人”称号。建有可靠性检测中心、健康测量实验室、感知实验室、MCU实验室。 公司年均研发投入超过20%,研发人员占比近70%,核心成员均有10年以上工作经验。截止到2022年上半年,芯海科技累计拥有全球专利申请近【800】件,累计拥有已授权专利近【350】件(含美国专利),拥有专利数量在科创板芯片设计上市公司中名列前茅。
  • 矽递科技为荷兰养猪场打造基于LoRa®和LoRaWAN®的环 通过物联网技术监测养殖环境,为生猪健康提供有效保障
  • 安霸领先业界发布用于自动驾驶的集中式4D成像毫米波雷 安霸傲酷自适应AI毫米波雷达软件和高能效的5纳米制程的CV3 AI域控制器主芯片首次实现4D成像毫米波雷达原始数据的集中式处理和前融合。
  • 在美国企业抵制之下,美国将放宽联邦机构及承包商使用中 这议案被视为美国《国防授权法案》(NDAA)的一项修正案,遭到美国商会和其他贸易组织的抵制。这些组织在上个月的一封信中称,企业要确定大量电子产品中的芯片是否是中国企业制造的,成本将很高,难度也很大。
  • 台积电1nm制程工艺已实现技术突破,正谋划建1nm工艺工厂 近日有报道称台积电正积极推进1nm制程工艺,并们已在谋划1nm制程工艺工厂的建设事宜,以便按计划量产。早前EDN美国版曾报道台积电1nm制程工艺已实现技术突破,且逐渐成形。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了