無線應用中典型視頻編解碼器方案功能分析
發布時間:2007/8/15 0:00:00 訪問次數:597
無線應用的視頻編解碼器具有一些不同的功能要求,其視頻編解碼過程通常包括視頻預處理、實際的視頻編碼與解碼以及視頻后處理三個階段,所支持的視頻標準、算法和視頻結構都具有一些特殊性。本文以OMAP5910為例介紹了無線應用中的視頻編碼與解碼功能,并圖解分析了編解碼器的結構組成。
無線應用中的視頻編解碼器需要符合第三代伙伴項目(3GPP)組織規定的多媒體電話低碼率編解碼器的標準,包括3G TS26.110、3G TS26.111以及3G TR26.911。本文以TI OMAP5910為例分析無線視頻編解碼器(編碼器與解碼器)的功能要求,包括為轉換到編碼器識別的輸入格式而對采集數據的預處理,以及為轉換到LCD顯示屏要求格式的數據后處理。
3GPP規定的基本編解碼器要求支持H.263標準,而 MPEG-4簡單可視類(Simple Visual Profile)則定義為可選。已實現的視頻編解碼器支持以下視頻格式:SQCIF(128×96)、QCIF(176×144)、簡單類1級(Simple Profile Level 1)、CIF(352×288)簡單類2級、碼率為64kbps的簡單類1級和碼率為128kbps的簡單類2級。
視頻編解碼器功能
視頻編碼器要求YUV4:2:0格式的視頻輸入,因此可能根據應用需要進行視頻輸入的預處理,即對YUV4:2:2隔行掃描(例如從攝像機)到YUV 4:2:0非隔行掃描轉換,僅抽取但不過濾UV分。對視頻解碼器而言,還需要進行后處理,以將解碼的YUV 4:2:0數據轉換為RGB進行顯示,包括:YUV 4:2:0到RGB轉換;16位或12位RGB顯示格式;0到90度旋轉,實現橫向或縱向顯示。此外,視頻編解碼器通常還要求具有以下功能和特性:
支持MPEG-4簡單類 0、1 與 2 級;
兼容H.263與 MPEG-4 編解碼標準;
MPEG-4視頻解碼器支持的可選項有:AC/DC預測、可逆可變長度編碼(RVLC)、再同步標志(RM)、數據分割(DP)、錯誤隱藏專利技術、支持每個宏塊4個運動矢量(4MV)、自由運動補償、解碼VOS層;
MPEG-4視頻編碼器選項有:RVLC、RM、DP、支持每個宏塊4個運動矢量(4MV)、報頭擴展碼、支持編碼期間碼率改變、支持編碼期間編碼幀率改變、插入或不插入可視對象序列起始碼;
支持編碼期間序列中插入I幀;
支持編碼器自適應幀內刷新(AIR);
支持多編解碼器,可用相同代碼運行多個編解碼器實例。
視頻結構
紅綠藍(RGB)是計算機顯示的基色,OMAP5910支持的色深可編程至高達每像素16位,即 RGB565(紅色5位,綠色6位,藍色5位)。
在DVD、攝像機、數字電視等消費類視頻產品中,常用的色彩編碼方案是YCbCr,其中Y是指亮度分量,Cb指藍色色度分量,而Cr指紅色色度分量。人的肉眼對視頻的Y分量更敏感,因此在通過對色度分量進行子采樣來減少色度分量后,肉眼將察覺不到的圖像質量的變化。主要的子采樣格式有YCbCr 4:2:0、YCbCr 4:2:2 和 YCbCr 4:4:4。
4:2:0表示每4個像素有4個亮度分量,2個色度分量(YYYYCbCr),僅采樣奇數掃描線,是便攜式視頻設備(MPEG-4)以及電視會議(H.263)最常用格式;4:2:2表示每4個像素有4個亮度分量,4個色度分量(YYYYCbCrCbCr),是DVD、數字電視、HDTV 以及其它消費類視頻設備的最常用格式;4:4:4表示全像素點陣(YYYYCbCrCbCrCbCrCbCr),用于高質量視頻應用、演播室以及專業視頻產品。
在OMAP5910設計中,為顯示解碼視頻,后處理需要計算與YCbCr對應的RGB值。后處理引擎通過以下方程式的計算得出經過伽馬校正的RGB信息:
R = Y + 1.371(Cr – 128)
G = Y – 0.698(Cr – 128) – 0.336(Cb – 128)
B = Y + 1.732(Cb – 128)
詳細內容請參見測試代碼的技術規范(需要簽訂不泄密協議),該規范論述了MPEG-4編碼器與解碼器的預處理與后處理的具體實現。
視頻編解碼器
圖1為一個移植到OMAP5910上的視頻編碼器結構簡圖,圖中主要功能部分的作用分別為:
預處理:如果需要的話,預處理模塊可將輸入視頻格式轉換為YUV 4:2:0;
離散余弦變換(DCT):DCT變換對每個輸入塊進行空間變換,輸出一個8x8 水平和垂直頻率系數的矩陣;
量化:利用心理視覺(psychovisual)特性來消除無關緊要的DCT系數、高頻系數;
逆量化(IQ):通過量化后的DCT乘以量化表計算出逆量化矩陣;
無線應用的視頻編解碼器具有一些不同的功能要求,其視頻編解碼過程通常包括視頻預處理、實際的視頻編碼與解碼以及視頻后處理三個階段,所支持的視頻標準、算法和視頻結構都具有一些特殊性。本文以OMAP5910為例介紹了無線應用中的視頻編碼與解碼功能,并圖解分析了編解碼器的結構組成。
無線應用中的視頻編解碼器需要符合第三代伙伴項目(3GPP)組織規定的多媒體電話低碼率編解碼器的標準,包括3G TS26.110、3G TS26.111以及3G TR26.911。本文以TI OMAP5910為例分析無線視頻編解碼器(編碼器與解碼器)的功能要求,包括為轉換到編碼器識別的輸入格式而對采集數據的預處理,以及為轉換到LCD顯示屏要求格式的數據后處理。
3GPP規定的基本編解碼器要求支持H.263標準,而 MPEG-4簡單可視類(Simple Visual Profile)則定義為可選。已實現的視頻編解碼器支持以下視頻格式:SQCIF(128×96)、QCIF(176×144)、簡單類1級(Simple Profile Level 1)、CIF(352×288)簡單類2級、碼率為64kbps的簡單類1級和碼率為128kbps的簡單類2級。
視頻編解碼器功能
視頻編碼器要求YUV4:2:0格式的視頻輸入,因此可能根據應用需要進行視頻輸入的預處理,即對YUV4:2:2隔行掃描(例如從攝像機)到YUV 4:2:0非隔行掃描轉換,僅抽取但不過濾UV分。對視頻解碼器而言,還需要進行后處理,以將解碼的YUV 4:2:0數據轉換為RGB進行顯示,包括:YUV 4:2:0到RGB轉換;16位或12位RGB顯示格式;0到90度旋轉,實現橫向或縱向顯示。此外,視頻編解碼器通常還要求具有以下功能和特性:
支持MPEG-4簡單類 0、1 與 2 級;
兼容H.263與 MPEG-4 編解碼標準;
MPEG-4視頻解碼器支持的可選項有:AC/DC預測、可逆可變長度編碼(RVLC)、再同步標志(RM)、數據分割(DP)、錯誤隱藏專利技術、支持每個宏塊4個運動矢量(4MV)、自由運動補償、解碼VOS層;
MPEG-4視頻編碼器選項有:RVLC、RM、DP、支持每個宏塊4個運動矢量(4MV)、報頭擴展碼、支持編碼期間碼率改變、支持編碼期間編碼幀率改變、插入或不插入可視對象序列起始碼;
支持編碼期間序列中插入I幀;
支持編碼器自適應幀內刷新(AIR);
支持多編解碼器,可用相同代碼運行多個編解碼器實例。
視頻結構
紅綠藍(RGB)是計算機顯示的基色,OMAP5910支持的色深可編程至高達每像素16位,即 RGB565(紅色5位,綠色6位,藍色5位)。
在DVD、攝像機、數字電視等消費類視頻產品中,常用的色彩編碼方案是YCbCr,其中Y是指亮度分量,Cb指藍色色度分量,而Cr指紅色色度分量。人的肉眼對視頻的Y分量更敏感,因此在通過對色度分量進行子采樣來減少色度分量后,肉眼將察覺不到的圖像質量的變化。主要的子采樣格式有YCbCr 4:2:0、YCbCr 4:2:2 和 YCbCr 4:4:4。
4:2:0表示每4個像素有4個亮度分量,2個色度分量(YYYYCbCr),僅采樣奇數掃描線,是便攜式視頻設備(MPEG-4)以及電視會議(H.263)最常用格式;4:2:2表示每4個像素有4個亮度分量,4個色度分量(YYYYCbCrCbCr),是DVD、數字電視、HDTV 以及其它消費類視頻設備的最常用格式;4:4:4表示全像素點陣(YYYYCbCrCbCrCbCrCbCr),用于高質量視頻應用、演播室以及專業視頻產品。
在OMAP5910設計中,為顯示解碼視頻,后處理需要計算與YCbCr對應的RGB值。后處理引擎通過以下方程式的計算得出經過伽馬校正的RGB信息:
R = Y + 1.371(Cr – 128)
G = Y – 0.698(Cr – 128) – 0.336(Cb – 128)
B = Y + 1.732(Cb – 128)
詳細內容請參見測試代碼的技術規范(需要簽訂不泄密協議),該規范論述了MPEG-4編碼器與解碼器的預處理與后處理的具體實現。
視頻編解碼器
圖1為一個移植到OMAP5910上的視頻編碼器結構簡圖,圖中主要功能部分的作用分別為:
預處理:如果需要的話,預處理模塊可將輸入視頻格式轉換為YUV 4:2:0;
離散余弦變換(DCT):DCT變換對每個輸入塊進行空間變換,輸出一個8x8 水平和垂直頻率系數的矩陣;
量化:利用心理視覺(psychovisual)特性來消除無關緊要的DCT系數、高頻系數;
逆量化(IQ):通過量化后的DCT乘以量化表計算出逆量化矩陣;
上一篇:常見的爆音問題及其解決辦法
上一篇:遲滯比較器