(原创）ISP应用与市场调研报告

leino11121

1． 目标
手机摄像头模组用ISP功能模块的市场走向及研发方向。为能够正确认识手机摄像模组行业提供技术及市场依据。
2． ISP在模组上的应用原理
2.1 功能区域
无论数码相机、摄像机或者摄像手机，其影像数据从前端感应后，皆须经过ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像处理（Pre-ISP）与后端影像处理（Post-ISP）四个阶段后，影像数据才能最终呈现于终端设备上（图一）。
[upload=jpg]UploadFile/2007-1/0715@52RD_1.JPG[/upload]
但由于图像传感器的像素高低不同、及其他成本等的考虑，ISP各功能区域会依手机市场特性做分散配置或整合处理，例如，低端相机将Pre-ISP与传感器整合在一起，2.0M像素手机将所有的ISP功能单独做成一个芯片等。
2.1.1 ASP
ASP（Analog Signal Processor）主要是针对图像传感器采集的电压或电流信号进行处理，主要作用是信号放大、自动曝光调整、时序控制、像素抽样控制等。因其与初始信号的绝对相关性，一般的图像传感器厂商皆会将此项功能直接与传感器做在一块。在图一中即为蓝色部分。传感数据经过ASP处理后，输出数据为Raw Data。
2.1.2 Pre-ISP
Pre-ISP(Image Signal Processor)为前端影像处理，主要针对ADC转换后传出的数字数据（Raw data），进行影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等。在低像素的产品中，例如0.3M像素，因影像数据较少，不需要大规模的复杂处理，会将Pre-ISP与图像传感器做在同一颗芯片中；但高像素CMOS传感器，因需要处理的像素数越来越多，虽然将Pre-ISP集成在sensor内部从制造技术上来讲不困难，但因成本及成像质量的原因，有些手机设计公司在设计时会将集成于sensor内部的Pre-ISP功能屏蔽掉，并维持传感器ADC输出的原始资料，交由单独的ISP芯片或集成在Baseband的ISP进行处理。
由Pre-ISP处理完后的数据分为RGB和YUV，RGB为三原色，数据比YUV较大，可以方便后续处理单元（Post-ISP）做更为多元的变化；YUV为RGB三原色经内插法所得，数据量较小，但不利于后续的处理单元进行处理。
对于实力强的手机研发公司比较倾向于使用Raw data数据或者RGB数据，这样可以根据自己的需要调整出更完美的画面质量。Raw data数据也为以后高端市场的使用方向，但国内现阶段2.0M像素的模组应用还处于初级阶段。因此还是以YUV输出的为主。
2.1.3 Post-ISP
Post-ISP虽然也称为后端影响处理，但其与成像相关的工作不多，主要负责数据压缩与后端接口界面控制，以及数据传输、控制等工作，其中还包括LCD影像预览、镜头对焦控制、使用界面等。
2.2 ISP发展阶段
2.2.1 第一阶段
第一阶段因像素不高（CIF等级），因此其结构与一般手机相差不多， Pre-ISP功能与图像传感器整合，而Post-ISP则依赖手机基带芯片，显示屏则经由系统提供，其结构如下

图二 手机摄像模组后端芯片第一阶段原理图
2.2.2 第二阶段
随着像素增加（CIF至VGA），为维持后端手机基带芯片的通讯功能，开始将原来负责的JPEG压缩、数据流的协调处理等功能独立成单一芯片完成，而影像处理Pre-ISP则交由手机设计公司自行决定，分集成到图像传感器内部和与Post-ISP整合两种。
此阶段方案已被淘汰，VGA像素的Post-ISP功能已可被Baseband集成。
[upload=jpg]UploadFile/2007-1/0715@52RD_3.JPG[/upload]

图三 手机摄像模组后端芯片第二阶段原理图
2.2.3 第三阶段
此时像素已由VGA转为百万像素，高像素的Pre-ISP，因所需的存储器及电源需求过大，在当时的技术条件下，sensor端已无法全部处理，因此将Pre-ISP与Post-ISP整合成完整的ISP。另因为对显示屏幕的处理要求更高，此阶段也将显示器控制功能一并整合，以减少baseband的处理负担，其结构见图四。
[upload=jpg]UploadFile/2007-1/0715@52RD_4.JPG[/upload]

图四 手机摄像模组后端芯片第三阶段原理图
2.2.4 第四阶段
Main Panel
（240*320）

随像素增加到2.0M及以上，厂商将更多的功能例如MP3、3D sound processor、audio processor等亦集成进单独的ISP芯片，此时称之为MMP（Mobile Multimedia Processor），
[upload=jpg]UploadFile/2007-1/0715@52RD_5.JPG[/upload]
图五 手机摄像模组后端芯片第四阶段原理图
表一 手机摄像模组后端芯片发展趋势
阶段搭配像素趋势项目
第一阶段CIFl         结构与一般手机相差无异
l         Pre-ISP功能可与图像传感器整合
l         Post-ISP依靠手机基带芯片
第二阶段VGAl         Post-ISP独立成单一芯片
l         Pre-ISP或由sensor集成或与Post-ISP整合
第三阶段Megal         图像传感器无法全部处理Pre-ISP，与Post-ISP整合成单独的ISP芯片
第四阶段2Mega及以上l         单独的MMP（ISP）芯片集成更多的功能，以迎合2.5G及3G的发展

3． 现阶段ISP的主要应用方案
表二 现阶段ISP的主要应用方案
像素输出格式ISP或手机设计方案备注
VGAYUV/RGB/
Raw datal      Sensor集成Pre-ISP；
l      Baseband集成Post-ISP。OV是VGA的首选sensor厂家，其主流产品：OV7660/OV7663/OV7670皆集成Pre-ISP，而MTK则将Post-ISP部分集成进Baseband。
l      Baseband未集成Post-ISP；
l      ISP（Pre-ISP&Post-ISP）功能被集成于MMP中；有一定比例的Baseband厂商（例如英飞凌）未将Post-ISP集成进Baseband。而是采用MMP的方式来处理。
2.0Mega及以上YUV/RGBl      Sensor中集成Pre-ISP；
l      ISP（Pre-ISP&Post-ISP）功能被集成于MMP中。Baseband不参与图像处理手机设计公司可以采用sensor输出的YUV或RGB，或者直接将Pre-ISP屏蔽掉，所有图像处理工作由MMP芯片来做。（理论上来讲，MMP处理效果应该好一点，实际上有时因调试工程师水平的原因，无法完全发挥MMP的潜力。）
Raw datal      Sensor中不集成Pre-ISP；
l      ISP（Pre-ISP & Post-ISP）功能被集成于MMP中。Baseband不参与图像处理所有图像处理工作由MMP芯片来做。

    将来的趋势，因成本的原因，基带芯片会集成所有的图像处理功能。
4． 评价
l         从成本来讲，ISP与Sensor之间的关系是背离集成的。将ISP集成在sensor上的成本比ISP集成在MMP或baseband上要高很多。随着传感器分辨率的提高，越来越多的传感器将只整合输出数字信号所必需的电路，而将图像处理及压缩等功能集成于MMP或Baseband中。
l         从成像质量来看，发展的趋势也是背离集成，在MMP中集成功能强大的图像处理功能，而且此趋势随分辨率的提高会愈加明显。
l         上面两个评价是发展趋势，但现在的市场情况各种应用方案都存在，且没有明显的强弱之分。MTK SoC方案在低端VGA产品中占主导，并且有大批的拥护者，但现仍有大批平台公司仍然没有走基带集成之路。且高端产品中，从我的了解中还没有将ISP功能集成进Baseband中的，大部分仍然采用MMP方案。但有资料表明，将ISP功能集成进Baseband中制造成本几乎可以忽略不计，此方案较之MMP方案仍然有成本空间。基带产品和应用处理器领域的大玩家都期待在它们的芯片上增加ISP功能。
l         无论如何，不管是当前的低端市场情况，还是将来的高端产品，独立的ISP（MMP）芯片都有较大的市场空间。真正的高像素SoC基带方案的时代到来还有很长的路要走。[/COLOR]

leino11121

有错误之处，请大家指出。[em01][em01][em01][em01]

leino11121

有些图表显示不正常，将word完整版上传，有些关于价格的内容还没有完善，请帮忙补充。谢谢。
另下完后请回复大家的看法，
[em01][em01][em01]
【文件名】:0716@52RD_ISP应用及市场调研报告-上传.doc
【格　式】:doc
【大　小】:168K
【简　介】:手机摄像头模组用ISP功能模块的市场走向及研发方向。为能够正确认识手机摄像模组行业提供技术及市场依据。
【目　录】:

夏耘

楼主应该是主推ISP的供应商吧。
    作为应用公司来说，我觉得目前的三个应用方向各有特点，必将共存很长的一个时期。就如CCD、CMOS之争一样，各有春秋。
    1. 集成ISP的CMOS Sensor ＋ CPU/BB方案：
        此方案2.0M中的代表是高端的Micron Soc2010，低端是OV2640。
    2. RGB RAW CMOS Sensor ＋ ISP/AP/MMP等相当于Backend IC的模块 ＋CPU/BB方案：
        早期拍照手机都差不多用此低端方案，现在越来越少了；以后支持5.0M，支持AF等功能的高端模块将会有较好前途。
    3. RGB RAW CMOS Sensor ＋ BB（集成ISP等功能）方案：
        目前MTK从高中低端全是这种方案，做得也挺火的，似乎也让人眼红。对于画面品质不太推崇的小公司，或者低端多媒体手机，应该用这种方案最为便捷和廉价。

    以上是我的一点理解 ^_^
[em01][em01]

leino11121

楼上兄：你说的有些不明白
1、为什么MICRON 2010是高端，而OV2640为低端。是从成像方面来看吗？还是单独的COB和CSP方面？另外此方案2.0M或3.0M像素时会出现时间延迟的情况，如果这样的话，rawdata输出也是比较好的方案。
2、第二种方案RGB RAW CMOS Sensor ＋ ISP/AP/MMP等相当于Backend IC的模块 ＋CPU/BB方案只有在5.0或者AF时才有必要用吗？不清楚诺基亚N记手机是用的什么方案的？
3、你说的第三种方案是低端应用，高端高像素方面呢？可否或者何时能应用在BB中?