高通 sensor 输出到手机屏显示的整个过程中具体格式有哪几种变化

wbsn123

小弟我不是很懂软件，做Camera快2年了，高通 sensor 输出到手机屏显示的整个过程中具体格式有哪几种变化，请教下高手..

hanqing-liu

瞎说的：
sensor出bayer raw10,ISP转RGB，数位压缩成888格式传屏。此为预览。

waifry

你说的是照片的格式还是图像色彩格式？？

wbsn123

色彩的格式

wbsn123

waifry 发表于 2015-9-17 14:29
你说的是照片的格式还是图像色彩格式？？

色彩的格式，（bayer raw - RGB -YUV..我的猜想）   具体在ISP那个模块进行格式变化..

wbsn123

hanqing-liu 发表于 2015-9-17 13:33
瞎说的：
sensor出bayer raw10,ISP转RGB，数位压缩成888格式传屏。此为预览。

与我想的差不多，但是我还是想知道更详细的，具体在哪个模块变换..这里我疑惑很久了..

hanqing-liu

希望蒙对了：
raw转RGB在VFE demosaic里。
显示就完全没概念了。

wbsn123

可能我的问题问的有点大....
Raw 的sensor 输出一般Bayer RAW data  是单个的R 、G、B，会被首先插值成有色彩的RGB RAW，这个过程是由sensor自己完成还是平台做..我在调Qualcomm时，发现目前拍出来都是RGB RAW，难道这里是Sensor 做好了的..

hanqing-liu

"Raw 的sensor 输出一般Bayer RAW data  是单个的R 、G、B，会被首先插值成有色彩的RGB RAW"
Raw sensor输出的就是从单个像素得到raw RGB，比如bayer格式，不存在插值。一般无法直看（绿绿的，低分辨率，低对比）。你看高通raw图就是这样，每一个点只有单一色彩.
ISP处理中需要demosaic插值成每个点都具备3种色彩分量，BMP格式

wbsn123

hanqing-liu 发表于 2015-9-18 12:50
"Raw 的sensor 输出一般Bayer RAW data  是单个的R 、G、B，会被首先插值成有色彩的RGB RAW"
Raw sensor输 ...

我理解的是，sensor感光区域最初只会对亮度反应比较明显，所以最开始输出的应该是一张类似黑白的图，然后才由算法处理成 RAW RGB输出，AD转换以后，在Demosaic处理成RGB格式，接着做AWB， CCM，lumaASF...一系列色彩锐度的处理之后，再转化为YUV传送，最后RGB显示输出，不知这样是否合理.

hanqing-liu

wbsn123 发表于 2015-9-18 13:55
我理解的是，sensor感光区域最初只会对亮度反应比较明显，所以最开始输出的应该是一张类似黑白的图，然后 ...

单个像素来，可以说没有色彩分量概念，只有亮度信息没错。
但像素阵列加上color filter排列后，每个像素就附加了色彩分量。输出的就可以理解为间隔排列的色彩信息.
例如A*A的阵列
GRGRGRGR...
BGBGBGBG...
GRGRGRGR...
...
所以才要demosaic转化成A*A的：
(RGB)(RGB)(RGB)...
(RGB)(RGB)(RGB)...
(RGB)(RGB)(RGB)...
...
也有不加color filter的sensor，就是黑白sensor，就不需要demosaic。

当然，如果你忽略raw里的色彩特性来显示，也能当黑白看。RGB像素的光谱响应有差，但没差到太多。
我的理解也不知道对不对，ISP里一般会有对CbCr域的处理，但YUV一般是中间过程。转RGB显示，转JPG保存（虽然也可以存YUV）。

xiang2012

感光芯片经过光电转换，模拟增益，A/D转换出来的是Bayer RAW数据，在BLC,LSC,AWB之后，经过Color correction转换成RGB格式，gamma也在这个过程中，通过chroma enhancement转换成YUV数据，然后进行其他的处理

请各位指正

zyyzyy678

高通的文档camera overview有个VFE的流程讲解，看看就明白了

首先得看你的sensor是YUV的还是Bayerd的，如果是YUV的sensor,那么输出的是YUV格式，然后通过camera interface传入VFE,在VFE中转换成RGB格式。

jiangyx1028

[em34]