自然界的顏色千變?nèi)f化,為了給顏色一個量化的衡量標準,就需要建立色彩空間模型來描述各種各樣的顏色,由于人對色彩的感知是一個復(fù)雜的生理和心理聯(lián)合作用的過程,所以在不同的應(yīng)用領(lǐng)域中為了更好更準確的滿足各自的需求,就出現(xiàn)了各種各樣的色彩空間模型來量化的描述顏色。我們比較常接觸到的就包括 RGB / CMYK / YIQ / YUV / HSI等等。
對于數(shù)字電子多媒體領(lǐng)域來說,我們經(jīng)常接觸到的色彩空間的概念,主要是RGB , YUV這兩種(實際上,這兩種體系包含了許多種具體的顏色表達方式和模型,如sRGB, Adobe RGB, YUV422, YUV420 …), RGB是按三基色加光系統(tǒng)的原理來描述顏色,而YUV則是按照 亮度,色差的原理來描述顏色。
即使只是RGB YUV這兩大類色彩空間,所涉及到的知識也是十分豐富復(fù)雜的,自知不具備足夠的相關(guān)專業(yè)知識,所以本文主要針對工程領(lǐng)域的應(yīng)用及算法進行討論。
對于YUV模型,實際上很多時候,我們是把它和YIQ / YCrCb模型混為一談的。
實際上,YUV模型用于PAL制式的電視系統(tǒng),Y表示亮度,UV并非任何單詞的縮寫。
YIQ模型與YUV模型類似,用于NTSC制式的電視系統(tǒng)。YIQ顏色空間中的I和Q分量相當于將YUV空間中的UV分量做了一個33度的旋轉(zhuǎn)。
YCbCr顏色空間是由YUV顏色空間派生的一種顏色空間,主要用于數(shù)字電視系統(tǒng)中。從RGB到Y(jié)CbCr的轉(zhuǎn)換中,輸入、輸出都是8位二進制格式。
三者與RGB的轉(zhuǎn)換方程如下:
RGB -> YUV:
實際上也就是:
Y=0.30R+0.59G+0.11B , U=0.493(B-Y) , V=0.877(R-Y)
RGB -> YIQ:
RGB -> YCrCb:
從公式中,我們關(guān)鍵要理解的一點是,UV / CbCr信號實際上就是藍色差信號和紅色差信號,進而言之,實際上一定程度上間接的代表了藍色和紅色的強度,理解這一點對于我們理解各種顏色變換處理的過程會有很大的幫助。
我們在數(shù)字電子多媒體領(lǐng)域所談到的YUV格式,實際上準確的說,是以YcrCb色彩空間模型為基礎(chǔ)的具有多種存儲格式的一類顏色模型的家族(包括YUV444 / YUV422 / YUV420 / YUV420P等等)。并不是傳統(tǒng)意義上用于PAL制模擬電視的YUV模型。這些YUV模型的區(qū)別主要在于UV數(shù)據(jù)的采樣方式和存儲方式,這里就不詳述。
而在Camera Sensor中,最常用的YUV模型是 YUV422格式,因為它采用4個字節(jié)描述兩個像素,能和RGB565模型比較好的兼容。有利于Camera Sensor和Camera controller的軟硬件接口設(shè)計。
這里指的YUV實際是YcrCb了,YUV2RGB的轉(zhuǎn)換公式本身是很簡單的,但是牽涉到浮點運算,所以,如果要實現(xiàn)快速算法,算法結(jié)構(gòu)本身沒什么好研究的了,主要是采用整型運算或者查表來加快計算速度。
首先可以推導(dǎo)得到轉(zhuǎn)換公式為:
R = Y + 1.4075 *(V-128)
G = Y – 0.3455 *(U –128) – 0.7169 *(V –128)
B = Y + 1.779 *(U – 128)
要用整型運算代替浮點運算,當然是要用移位的辦法了,我們可以很容易得到下列算法:
u = YUVdata[UPOS] - 128;
v = YUVdata[VPOS] - 128;
rdif = v + ((v * 103) >> 8);
invgdif = ((u * 88) >> 8) +((v * 183) >> 8);
bdif = u +( (u*198) >> 8);
r = YUVdata[YPOS] + rdif;
g = YUVdata[YPOS] - invgdif;
b = YUVdata[YPOS] + bdif;
為了防止出現(xiàn)溢出,還需要判錯計算的結(jié)果是否在0-255范圍內(nèi),做類似下面的判斷。
if (r>255)
r=255;
if (r<0)
r=0;
要從RGB24轉(zhuǎn)換成RGB565數(shù)據(jù)還要做移位和或運算:
RGBdata[1] =( (r & 0xF8) | ( g >> 5) );
RGBdata[0] =( ((g & 0x1C) << 3) | ( b >> 3) );
查表法首先可以想到的就是用查表替代上述整型算法中的乘法運算。
rdif = fac_1_4075[u];
invgdif = fac_m_0_3455[u] + fac_m_0_7169[v];
bdif = fac_1_779[u];
這里一共需要4個1維數(shù)組,下標從0開始到255,表格共占用約1K的內(nèi)存空間。uv可以不需要做減128的操作了。在事先計算對應(yīng)的數(shù)組元素的值的時候計算在內(nèi)就好了。
對于每個像素,部分查表法用查表替代了2次減法運算和4次乘法運算,4次移位運算。但是,依然需要多次加法運算和6次比較運算和可能存在的賦值操作,相對第一種方法運算速度提高并不明顯。
那么是否可以由YUV直接查表得到對應(yīng)的RGB值呢?乍一看似乎不太可能,以最復(fù)雜的G的運算為例,因為G與YUV三者都相關(guān),所以類似 G=YUV2G[Y][U][V]這樣的算法,一個三維下標尺寸都為256的數(shù)組就需要占用2的24次方約16兆空間,絕對是沒法接受的。所以目前多數(shù)都是采用部分查表法。
但是,如果我們仔細分析就可以發(fā)現(xiàn),對于G我們實際上完全沒有必要采用三維數(shù)組,因為Y只與UV運算的結(jié)果相關(guān),與UV的個體無關(guān),所以我們可以采用二次查表的方法將G的運算簡化為對兩個二維數(shù)組的查表操作,如下:
G = yig2g_table[ y ][ uv2ig_table[ u ][ v ] ];
而RB本身就只和YU或YV相關(guān),所以這樣我們一共需要4個8*8的二維表格,需要占用4乘2的16次方共256K內(nèi)存。基本可以接受。但是對于手機這樣的嵌入式運用來說,還是略有些大了。
進一步分析,我們可以看到,因為在手機等嵌入式運用上我們最終是要把數(shù)據(jù)轉(zhuǎn)換成RGB565格式送到LCD屏上顯示的,所以,對于RGB三分量來說,我們根本不需要8bit這么高的精度,為了簡單和運算的統(tǒng)一起見,對每個分量我們其實只需要高6bit的數(shù)據(jù)就足夠了,所以我們可以進一步把表格改為4個6*6的二維表格,這樣一共只需要占用16K內(nèi)存!在計算表格元素值的時候還可以把最終的溢出判斷也事先做完。最后的算法如下:
y = (YUVdata[Y1POS] >> 2);
u = (YUVdata[UPOS] >> 2);
v = (YUVdata[VPOS] >> 2);
r = yv2r_table[ y ][ v ];
g = yig2g_table[ y ][ uv2ig_table[ u ][ v ] ];
b = yu2b_table[ y ][ u ];
RGBdata[1] =( (r & 0xF8) | ( g >> 5) );
RGBdata[0] =( ((g & 0x1C) << 3) | ( b >> 3) );
這樣相對部分查表法,我們增加了3次移位運算,而進一步減少了4次加法運算和6次比較賦值操作。
在計算表格元素數(shù)值的時候,要考慮舍入和偏移等因數(shù)使得計算的中間結(jié)果滿足數(shù)組下標非負的要求,需要一定的技巧。
采用完全查表法,相對于第一種算法,最終運算速度可以有比較明顯的提高,具體性能能提高多少,要看所在平臺的CPU運算速度和內(nèi)存存取速度的相對比例。內(nèi)存存取速度越快,用查表法帶來的性能改善越明顯。在我的PC上測試的結(jié)果性能大約能提高35%。而在某ARM平臺上測試只提高了約15%。
實際上,上述算法:
RGBdata[1] =( (r & 0xF8) | ( g >> 5) );
RGBdata[0] =( ((g & 0x1C) << 3) | ( b >> 3) );
中的 (r & 0xF8) 和 ( b >> 3) 等運算也完全可以在表格中事先計算出來。另外,YU / YV的取值實際上不可能覆蓋滿6*6的范圍,中間有些點是永遠取不到的無輸入,RB的運算也可以考慮用5*5的表格。這些都可能進一步提高運算的速度,減小表格的尺寸。
另外,在嵌入式運用中,如果可能盡量將表格放在高速內(nèi)存如SRAM中應(yīng)該比放在SDRAM中更加能發(fā)揮查表法的優(yōu)勢。
目前覺得這個是沒法將3維表格的查表運算化簡為2維表格的查表運算了。只能用部分查表法替代其中的乘法運算。
計算機彩色顯示器顯示色彩的原理與彩色電視機一樣,都是采用R(Red)、G(Green)、B(Blue)相加混色的原理:通過發(fā)射出三種不同強度的電子束,使屏幕內(nèi)側(cè)覆蓋的紅、綠、藍磷光材料發(fā)光而產(chǎn)生色彩。這種色彩的表示方法稱為RGB色彩空間表示(它也是多媒體計算機技術(shù)中用得最多的一種色彩空間表示方法)。
根據(jù)三基色原理,任意一種色光F都可以用不同分量的R、G、B三色相加混合而成。
F = r [ R ] + g [ G ] + b [ B ]
其中,r、g、b分別為三基色參與混合的系數(shù)。當三基色分量都為0(最弱)時混合為黑色光;而當三基色分量都為k(最強)時混合為白色光。調(diào)整r、g、b三個系數(shù)的值,可以混合出介于黑色光和白色光之間的各種各樣的色光。
那么YUV又從何而來呢?在現(xiàn)代彩色電視系統(tǒng)中,通常采用三管彩色攝像機或彩色CCD攝像機進行攝像,然后把攝得的彩色圖像信號經(jīng)分色、分別放大校正后得到RGB,再經(jīng)過矩陣變換電路得到亮度信號Y和兩個色差信號R-Y(即U)、B-Y(即V),最后發(fā)送端將亮度和色差三個信號分別進行編碼,用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。
采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量,那么這樣表示的圖像就是黑白灰度圖像。彩色電視采用YUV空間正是為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題,使黑白電視機也能接收彩色電視信號。
YUV與RGB相互轉(zhuǎn)換的公式如下(RGB取值范圍均為0-255):
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
R = Y + 1.14V
G = Y - 0.39U - 0.58V
B = Y + 2.03U
在DirectShow中,常見的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等;常見的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。作為視頻媒體類型的輔助說明類型(Subtype),它們對應(yīng)的GUID見表2.3。
表2.3 常見的RGB和YUV格式
GUID 格式描述
MEDIASUBTYPE_RGB1 2色,每個像素用1位表示,需要調(diào)色板
MEDIASUBTYPE_RGB4 16色,每個像素用4位表示,需要調(diào)色板
MEDIASUBTYPE_RGB8 256色,每個像素用8位表示,需要調(diào)色板
MEDIASUBTYPE_RGB565 每個像素用16位表示,RGB分量分別使用5位、6位、5位
MEDIASUBTYPE_RGB555 每個像素用16位表示,RGB分量都使用5位(剩下的1位不用)
MEDIASUBTYPE_RGB24 每個像素用24位表示,RGB分量各使用8位
MEDIASUBTYPE_RGB32 每個像素用32位表示,RGB分量各使用8位(剩下的8位不用)
MEDIASUBTYPE_ARGB32 每個像素用32位表示,RGB分量各使用8位(剩下的8位用于表示Alpha通道值)
MEDIASUBTYPE_YUY2 YUY2格式,以4:2:2方式打包
MEDIASUBTYPE_YUYV YUYV格式(實際格式與YUY2相同)
MEDIASUBTYPE_YVYU YVYU格式,以4:2:2方式打包
MEDIASUBTYPE_UYVY UYVY格式,以4:2:2方式打包
MEDIASUBTYPE_AYUV 帶Alpha通道的4:4:4 YUV格式
MEDIASUBTYPE_Y41P Y41P格式,以4:1:1方式打包
MEDIASUBTYPE_Y411 Y411格式(實際格式與Y41P相同)
MEDIASUBTYPE_Y211 Y211格式
MEDIASUBTYPE_IF09 IF09格式
MEDIASUBTYPE_IYUV IYUV格式
MEDIASUBTYPE_YV12 YV12格式
MEDIASUBTYPE_YVU9 YVU9格式
下面分別介紹各種RGB格式。
¨ RGB1、RGB4、RGB8都是調(diào)色板類型的RGB格式,在描述這些媒體類型的格式細節(jié)時,通常會在BITMAPINFOHEADER數(shù)據(jù)結(jié)構(gòu)后面跟著一個調(diào)色板(定義一系列顏色)。它們的圖像數(shù)據(jù)并不是真正的顏色值,而是當前像素顏色值在調(diào)色板中的索引。以RGB1(2色位圖)為例,比如它的調(diào)色板中定義的兩種顏色值依次為0x000000(黑色)和0xFFFFFF(白色),那么圖像數(shù)據(jù)001101010111…(每個像素用1位表示)表示對應(yīng)各像素的顏色為:黑黑白白黑白黑白黑白白白…。
¨ RGB565使用16位表示一個像素,這16位中的5位用于R,6位用于G,5位用于B。程序中通常使用一個字(WORD,一個字等于兩個字節(jié))來操作一個像素。當讀出一個像素后,這個字的各個位意義如下:
高字節(jié) 低字節(jié)
R R R R R G G G G G G B B B B B
可以組合使用屏蔽字和移位操作來得到RGB各分量的值:
#define RGB565_MASK_RED 0xF800
#define RGB565_MASK_GREEN 0x07E0
#define RGB565_MASK_BLUE 0x001F
R = (wPixel & RGB565_MASK_RED) >> 11; // 取值范圍0-31
G = (wPixel & RGB565_MASK_GREEN) >> 5; // 取值范圍0-63
B = wPixel & RGB565_MASK_BLUE; // 取值范圍0-31
¨ RGB555是另一種16位的RGB格式,RGB分量都用5位表示(剩下的1位不用)。使用一個字讀出一個像素后,這個字的各個位意義如下:
高字節(jié) 低字節(jié)
X R R R R G G G G G B B B B B (X表示不用,可以忽略)
可以組合使用屏蔽字和移位操作來得到RGB各分量的值:
#define RGB555_MASK_RED 0x7C00
#define RGB555_MASK_GREEN 0x03E0
#define RGB555_MASK_BLUE 0x001F
R = (wPixel & RGB555_MASK_RED) >> 10; // 取值范圍0-31
G = (wPixel & RGB555_MASK_GREEN) >> 5; // 取值范圍0-31
B = wPixel & RGB555_MASK_BLUE; // 取值范圍0-31
¨ RGB24使用24位來表示一個像素,RGB分量都用8位表示,取值范圍為0-255。注意在內(nèi)存中RGB各分量的排列順序為:BGR BGR BGR…。通??梢允褂肦GBTRIPLE數(shù)據(jù)結(jié)構(gòu)來操作一個像素,它的定義為:
typedef struct tagRGBTRIPLE {
BYTE rgbtBlue; // 藍色分量
BYTE rgbtGreen; // 綠色分量
BYTE rgbtRed; // 紅色分量
} RGBTRIPLE;
¨ RGB32使用32位來表示一個像素,RGB分量各用去8位,剩下的8位用作Alpha通道或者不用。(ARGB32就是帶Alpha通道的RGB32。)注意在內(nèi)存中RGB各分量的排列順序為:BGRA BGRA BGRA…。通常可以使用RGBQUAD數(shù)據(jù)結(jié)構(gòu)來操作一個像素,它的定義為:
typedef struct tagRGBQUAD {
BYTE rgbBlue; // 藍色分量
BYTE rgbGreen; // 綠色分量
BYTE rgbRed; // 紅色分量
BYTE rgbReserved; // 保留字節(jié)(用作Alpha通道或忽略)
} RGBQUAD;
下面介紹各種YUV格式。YUV格式通常有兩大類:打包(packed)格式和平面(planar)格式。前者將YUV分量存放在同一個數(shù)組中,通常是幾個相鄰的像素組成一個宏像素(macro-pixel);而后者使用三個數(shù)組分開存放YUV三個分量,就像是一個三維平面一樣。表2.3中的YUY2到Y(jié)211都是打包格式,而IF09到Y(jié)VU9都是平面格式。(注意:在介紹各種具體格式時,YUV各分量都會帶有下標,如Y0、U0、V0表示第一個像素的YUV分量,Y1、U1、V1表示第二個像素的YUV分量,以此類推。)
¨ YUY2(和YUYV)格式為每個像素保留Y分量,而UV分量在水平方向上每兩個像素采樣一次。一個宏像素為4個字節(jié),實際表示2個像素。(4:2:2的意思為一個宏像素中有4個Y分量、2個U分量和2個V分量。)圖像數(shù)據(jù)中YUV分量排列順序如下:
Y0 U0 Y1 V0 Y2 U2 Y3 V2 …
¨ YVYU格式跟YUY2類似,只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同:
Y0 V0 Y1 U0 Y2 V2 Y3 U2 …
¨ UYVY格式跟YUY2類似,只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同:
U0 Y0 V0 Y1 U2 Y2 V2 Y3 …
¨ AYUV格式帶有一個Alpha通道,并且為每個像素都提取YUV分量,圖像數(shù)據(jù)格式如下:
A0 Y0 U0 V0 A1 Y1 U1 V1 …
¨ Y41P(和Y411)格式為每個像素保留Y分量,而UV分量在水平方向上每4個像素采樣一次。一個宏像素為12個字節(jié),實際表示8個像素。圖像數(shù)據(jù)中YUV分量排列順序如下:
U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 …
¨ Y211格式在水平方向上Y分量每2個像素采樣一次,而UV分量每4個像素采樣一次。一個宏像素為4個字節(jié),實際表示4個像素。圖像數(shù)據(jù)中YUV分量排列順序如下:
Y0 U0 Y2 V0 Y4 U4 Y6 V4 …
¨ YVU9格式為每個像素都提取Y分量,而在UV分量的提取時,首先將圖像分成若干個4 x 4的宏塊,然后每個宏塊提取一個U分量和一個V分量。圖像數(shù)據(jù)存儲時,首先是整幅圖像的Y分量數(shù)組,然后就跟著U分量數(shù)組,以及V分量數(shù)組。IF09格式與YVU9類似。
¨ IYUV格式為每個像素都提取Y分量,而在UV分量的提取時,首先將圖像分成若干個2 x 2的宏塊,然后每個宏塊提取一個U分量和一個V分量。YV12格式與IYUV類似。
¨ YUV411、YUV420格式多見于DV數(shù)據(jù)中,前者用于NTSC制,后者用于PAL制。YUV411為每個像素都提取Y分量,而UV分量在水平方向上每4個像素采樣一次。YUV420并非V分量采樣為0,而是跟YUV411相比,在水平方向上提高一倍色差采樣頻率,在垂直方向上以U/V間隔的方式減小一半色差采樣,如圖2.12所示。
聯(lián)系客服