数码相机图像处理知识ABC

xinxini · 发表于 2014-3-31 13:26:47

本帖最后由 xinxini 于 2014-3-31 13:27 编辑

上周参加慕尼黑电子展，本来是去了解富士通半导体公司推的视频安防方案技术（Milbeaut security），意外第一次知道他们家的Milbeaut图像处理技术其实主要是从相机应用中发展而来，除了数码相机和微单，目前很多手机相机用的图像处理器（ISP）都是采用的富士通半导体他们的图像处理器芯片和技术（俺的魅族MX3也是哦），与他们的几位专家聊聊天，倒增加了不少手机ISP相关的知识，回来google了下，貌似相关分享信息很少，参考网上的一些资资料和富士通那儿考的资料写出来分享给大家，希望一起学习交流（图像处理俺只算半灌水，不正确或不准确的地方，请大家拍砖。附件是Milbeaut for mobile的英文版资料，感兴趣可以参考下）

ISP?手机相机的决定因素!
通常来讲，数码相机图像部分芯片基本上由一个Imaging Sensor(图像传感器)和ISP组成，多功能的ISP结合图像传感器能够为数码相机提供高速、加强的图像质量。所以，很多人都认为ISP是数码相机性能表现的决定因素。

ISP在模组上的应用原理
无论数码相机、摄像机或者摄像手机，其影像数据都是从前端感应后，经过ASP(模拟信号处理)、ADC(模拟数字转换器)、Pre-ISP(前期影像处理)与Post-ISP(后端影像处理)四个阶段后，影像数据才能最终呈现在终端设备上。

不过呢，由于图像传感器的像素高低不同、及其他成本等的考虑，ISP各功能区域会依数码市场特性做分散配置或整合处理，例如，某些低端相机将Pre-ISP与传感器整合在一起，而某些高像素手机将所有的ISP功能单独做成一个芯片等，当然，无论什么样的方案，最终符合消费者心理预期就是最好的方案。

ASP(模拟信号处理器)主要是针对图像传感器采集的电压或电流信号进行处理，主要作用是信号放大、自动曝光调整、时序控制、像素抽样控制等。因其与初始信号的绝对相关性，一般的图像传感器厂商皆会将此项功能直接与传感器做在一块。在图一中即为蓝色部分。传感数据经过ASP处理后，输出数据为Raw Data(原始数字数据)。

Pre-ISP(影像处理器)为前端影像处理，主要针对ADC转换后传出的Raw Data，进行3A（自动对焦，自动曝光，自动白平衡），影像坏点修补、、gamma校正、锐利度、颜色插值等。在低像素的产品中，例如0.3M像素，因影像数据较少，不需要大规模的复杂处理，会将Pre-ISP与图像传感器做在同一颗芯片中;但高像素CMOS传感器，因需要处理的像素数越来越多，虽然将Pre-ISP集成在传感器内部从制造技术上来讲不困难，但因成本及成像质量的原因，有些手机设计公司在设计时会将集成于传感器内部的Pre-ISP功能屏蔽掉，并维持传感器ADC输出的原始资料，交由单独的ISP芯片或集成在Baseband的ISP进行处理。

Post-ISP虽然也称为后端影响处理，但其与成像相关的工作不多，主要负责数据压缩与后端接口界面控制，以及数据传输、控制等工作，其中还包括LCD影像预览、镜头对焦控制、使用界面等。

ivenchiu · 发表于 2014-4-1 17:13:26

是的，ISP包含了数码相机中图像处理所需要的各种功能，如图像压缩、噪音降低、高色彩重现能力等。不仅仅是硬件设计的问题，还有很多图形处理的软件算法。所以他们推的安防应用看起来也很牛。我看过demo演示，区域遮蔽, 宽动态, 除雾, 限制区域警示都很不错！（貌似第二张图是富士通的汽车视频监测应用吧~与ISP不搭嘎）

imsewfo · 发表于 2014-4-2 03:23:14

嗯,基础知识很重要

yhy52rd · 发表于 2014-4-2 11:21:18

OK，support

拿烙铁的美女 · 发表于 2014-4-2 17:49:36

学习了，讲的很棒！[em08]

xinxini · 发表于 2014-4-3 17:18:29

ivenchiu 发表于 2014-4-1 17:13
是的，ISP包含了数码相机中图像处理所需要的各种功能，如图像压缩、噪音降低、高色彩重现能力等。不仅仅是 ...

是的，第二张图是他们的360度汽车视频监测系统，同样很牛叉的应用，不过这里面的很多技术与Milbeaut security是相通的，虽然他们的芯片系列完全不一样，背后的很多算法Knowhow应该是可借鉴的。这应该也是为什么富士通的静态图像ISP、动态视频处理（安防和汽车）都很牛的原因吧。

beyondu · 发表于 2014-4-4 09:34:16

貌似三星的几款手机都是用的他们家的芯片，日本的图像处理技术确实很牛，包括sensor，高端的基本上是Sony的。

ityes · 发表于 2014-4-7 08:55:19

确实是网上很难找到的资料。谢谢！

micle · 发表于 2014-4-8 09:52:20

呵呵呵，在深圳的研讨会上听富士通半导体的台湾专家讲过，很高大上的说，不过宣传的很少啊，估计没有几个人懂Milbeaut是个啥，包括咱们工程师朋友

LED2010 · 发表于 2014-4-9 11:32:49

这几年富士通的ISP技术应用，大陆市场成主力了，魅族、Oppo都在用，富士通这几年宣传也多起来了。以前针对相机市场，基本上都是日本、韩国和台湾占据95%以上，现在手机相机估计占相机市场80%以上的份额！

huanggong · 发表于 2014-4-10 10:27:34

资料很丰富涨姿势咯 [em01]

benMT · 发表于 2014-4-11 11:10:40

日本，韩国图像处理这块走在前沿。

zanglin · 发表于 2014-4-11 12:38:14

谢谢提供！！！ [em27]

imsewfo · 发表于 2014-4-23 02:39:12

没有知识

		自动登录	找回密码
密码			注册

[讨论] 数码相机图像处理知识ABC

本帖子中包含更多资源