一、概述
監(jiān)控視頻技術(shù)經(jīng)歷了模擬時代，進(jìn)入了數(shù)字化時代。在數(shù)字化監(jiān)控的進(jìn)程中，目前正處在從數(shù)字化、網(wǎng)絡(luò)化、高清化向智能化的發(fā)展過程中。其中智能化的監(jiān)控視頻分析是當(dāng)前重點發(fā)展方向之一，人們希望通過智能分析取代大量繁重的人工對監(jiān)控視頻內(nèi)容的察看、分析和總結(jié)。
智能化涉及到對監(jiān)控視頻圖像的種種處理，從技術(shù)的層面上大致可以分為三個層次：注重于像素或像塊的視頻圖像處理，注重于圖像特征和目標(biāo)的視頻圖像分析，注重于圖像內(nèi)容語義的智能分析。用通俗的話說，監(jiān)控視頻圖像處理的目標(biāo)是“看清楚”監(jiān)控的場景，包含去噪聲、去模糊、去抖動、去霧霾、超分辨率重建、動態(tài)范圍擴(kuò)展等措施;監(jiān)控視頻圖像分析的目標(biāo)是“看明白”監(jiān)控的對象，包含車牌識別、人臉識別、人流統(tǒng)計等方面;智能監(jiān)控視頻分析的目標(biāo)是“看懂”監(jiān)控場景內(nèi)容的語義(semantics)，即給出人能夠理解的分析結(jié)果，如這里發(fā)生了什么，這里有什么等。它包含多種智能分析技術(shù)，如行為識別、入侵檢測、遺留物檢測、群體行為識別、違規(guī)車輛檢測等方面。
在這三個層次中，顯然智能監(jiān)控視頻分析是我們最終的目標(biāo)，替代人工對視頻監(jiān)控內(nèi)容的觀察、分析和判斷，甚至比我們?nèi)祟愒谀承┓矫娓訙?zhǔn)確和快捷。但是，要達(dá)到這一目標(biāo)，必須向智能分析系統(tǒng)提供盡可能清楚的視頻圖像，盡可能準(zhǔn)確的目標(biāo)劃分和識別的結(jié)果，我們將這些技術(shù)稱之為智能視頻分析的基礎(chǔ)技術(shù)，即視頻圖像處理和分析。如果所提供的圖像達(dá)不到這樣的要求，則很難指望智能分析系統(tǒng)會獲得正確的分析結(jié)果。因此，我們說智能視頻分析固然重要，智能分析的具體方法固然重要，但是提供優(yōu)質(zhì)視頻圖像的基礎(chǔ)技術(shù)在當(dāng)前視頻分析智能化的起始發(fā)展階段尤為重要。
目前從應(yīng)用的角度看，智能視頻分析雖然取得了長足的進(jìn)展，但仍然有太多的內(nèi)容需要研究和開發(fā)，智能視頻分析技術(shù)尚處于視頻處理和視頻分析的“初級階段”，這一部分是當(dāng)下實際應(yīng)用場合中重點關(guān)注的內(nèi)容?；A(chǔ)的監(jiān)控視頻處理和分析技術(shù)包含很多的方面，除了經(jīng)典的視頻處理技術(shù)如圖像增強、圖像去噪等技術(shù)外，目前大家較為關(guān)注的主要有圖像去霧，動態(tài)范圍擴(kuò)展，超分辨率重建，車牌識別，人臉識別，……，等多項技術(shù)。下面以在視頻監(jiān)控行業(yè)小有名氣的VAIS(Video Analysis Instrument System)——迅通視頻圖像分析系統(tǒng)為例，著重介紹視頻圖像處理和視頻圖像分析這兩方面的基礎(chǔ)處理技術(shù)。
二、視頻圖像處理
2.1 去霧增透處理
由于大氣散射作用，霧天天氣條件下獲取的視頻圖像較為模糊，嚴(yán)重地影響著圖像的視覺效果。其原因主要在于目標(biāo)光線在傳播過程中遭到霧氣的衰減而導(dǎo)致了圖像細(xì)節(jié)的丟失，清晰度不夠;周圍環(huán)境光的參與造成了圖像顏色的失真，色調(diào)平淡。
為了改善這類霧天圖像，可采取視頻去霧增透技術(shù)(簡稱透霧技術(shù))，將因霧氣和灰塵等導(dǎo)致朦朧不清的圖像變得清晰，發(fā)掘出更多的圖像所包含的信息，為下一步對圖像的智能分析應(yīng)用提供良好的條件。
目前的透霧處理方法主要分為兩類：霧天圖像增強和霧天圖像復(fù)原。霧天圖像增強方法現(xiàn)對比較簡單，它不考慮圖像降質(zhì)原因，只針對圖像的色彩進(jìn)行處理，能有效地提高霧天圖像的對比度，突出圖像的細(xì)節(jié)，改善圖像的視覺效果，但可能會造成一定的信息損失。
霧天圖像復(fù)原針對霧天圖像質(zhì)量退化的機(jī)理，建立霧氣圖像退化模型，然后用圖像復(fù)原的方法，對霧天退化圖像進(jìn)行復(fù)原，補償退化過程造成的失真，獲得對無霧圖像的最優(yōu)估計，從而改善霧天圖像質(zhì)量。這種方法針對性強，得到的去霧效果自然，信息損失小，處理的關(guān)鍵是模型中參數(shù)的估計。圖1為VAIS系統(tǒng)采用基于物理模型的快速實時去霧方法對霧天圖像增透處理的一例。
(a) 透霧處理前 (b) 透霧處理后
圖1 透霧處理效果對比
2.2 超分辨率重建
隨著人們對監(jiān)控圖像質(zhì)量的要求越來越高，提升監(jiān)控圖像的分辨率已經(jīng)成為整個安防行業(yè)的一項迫切要求。提高圖像分辨率最直接的辦法就是提高采集設(shè)備(如攝像機(jī))的傳感器密度。但是，一方面高密度的圖像傳感器的價格相對昂貴，在一般應(yīng)用中難以承受;另一方面，由于成像系統(tǒng)受其傳感器陣列密度的限制，目前已接近極限。
在這樣的情況下，解決這一問題的一個有效途徑是就采用基于信號處理的軟件方法對圖像的空間分辨率進(jìn)行提高，即超分辨率(SR：Super-Resolution)圖像重建，將采集到的低分辨率圖像通過一定算法重建為高分辨率圖像。VAIS的SR重建的核心方法是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換，使得重建圖像的視覺效果超過任何一幀低分辨率圖像。圖2出示了一幅低分辨率視頻圖像經(jīng)過超分辨率重建以后形成的高分辨率圖像的前后對比。
(a) 原始低分辨率圖像 (b) 重建后的高分辨率圖像
圖2 超分辨率圖像重建對比
2.3 動態(tài)范圍擴(kuò)展
在不少視頻監(jiān)控場合，常常會由于光線的原因產(chǎn)生彩色(亮度)動態(tài)范圍偏離的圖像，出現(xiàn)整體或局部的“曝光”不足或“曝光”過度。對這類視頻圖像的處理主要是糾正彩色動態(tài)范圍的偏離，包括兩個方面：對背光圖像的處理和對暗光(如夜晚場景)圖像的處理。
(1)暗光圖像的處理
夜晚場景下采集的圖像由于光照強度不足，導(dǎo)致圖像亮度及對比度降低，丟失顏色等細(xì)節(jié)信息，增加了圖像的噪聲，從而降低了圖像質(zhì)量，嚴(yán)重影響了圖像的使用和進(jìn)一步的智能分析處理。目前比較流行的暗光圖像處理的方法是Retinex算法，從給定的圖像中分離出亮度圖像和反射圖像，在彩色恒定的條件下，通過改變亮度圖像和反射圖像在原圖像中的比例來達(dá)到增強暗光圖像的目的。但這種方法的計算量非常大，很難應(yīng)用于實時處理。為此VAIS系統(tǒng)通過統(tǒng)計分析后發(fā)現(xiàn)反轉(zhuǎn)后的暗光圖像與霧天圖像具有類似的統(tǒng)計特征，在此基礎(chǔ)上設(shè)計了一種新的基于圖像去霧法的擴(kuò)展圖像動態(tài)范圍的快速算法，對反轉(zhuǎn)的暗光圖像進(jìn)行處理，處理完畢再進(jìn)行翻轉(zhuǎn)就成為擴(kuò)展了動態(tài)范圍的圖像。圖3為暗光圖像動態(tài)范圍擴(kuò)展的一例，圖像的動態(tài)范圍的改善和Retinex算法相當(dāng)，但處理速度很快，能夠滿足實時應(yīng)用的要求。
(a) 暗光處理前 (b) 暗光處理后
圖3 暗光處理效果對比
(2)背光圖像的處理
在視頻采集過程中，如果攝像機(jī)正對光源，這部分非常亮，而場景中的目標(biāo)物體比光源暗得多，由于攝像機(jī)的動態(tài)范圍的限制，從而導(dǎo)致目標(biāo)區(qū)域的亮度非常暗，看不清細(xì)節(jié)，這就是所謂的背光現(xiàn)象。很明顯，背光圖像補償處理的關(guān)鍵就在于提高目標(biāo)區(qū)域的亮度，降低光源部分的亮度，同時保證整幅圖像自然過渡的平滑特性。VAIS系統(tǒng)對背光圖像采用類似暗光圖像處理的方法，即基于圖像去霧法的方法來處理背光圖像的。背光補償前后效果對比的一個實例如圖4所示。
(a) 背光補償前 (b) 背光補償后
圖4 背光處理效果對比
三、視頻圖像分析
3.1 人臉識別
基于圖像處理的人臉識別技術(shù)大體上可分兩類，一類是合作型人臉識別，就是大家常見的用于考勤、門禁、會議簽到等場合的身份識別方式，目前這一類技術(shù)已比較成熟;另一類則是非合作型人臉檢測和識別技術(shù)，最典型的就是監(jiān)控視頻中目標(biāo)人物的臉部檢測與識別，這一類技術(shù)還不夠完善，還有許多問題有待解決。
目前，在監(jiān)控視頻的應(yīng)用中，大部分是非合作方式的人臉檢測和識別，由于無法得到目標(biāo)人員的配合，再加上各種不利環(huán)境因素的影響，使得視頻中人臉圖像的精度不高、面部模糊、角度變化大，從而導(dǎo)致很難做高精度的人臉檢測和人臉識別。
VASI系統(tǒng)關(guān)注的就是非合作型的這一類人臉識別技術(shù)，致力于在小樣本庫的人臉識別中的算法優(yōu)化，因而具有較高的人臉檢測和識別率。VAIS系統(tǒng)將視頻場景內(nèi)捕獲并檢測到的所有人臉圖像傳送至VAIS的人臉識別部分，采用WSR與LCR算法對模糊人臉進(jìn)行重建后，然后將他們與VAIS系統(tǒng)數(shù)據(jù)庫的人臉數(shù)據(jù)進(jìn)行多次比對，篩選出最接近的一個或多個人臉數(shù)據(jù)，供使用者進(jìn)行目標(biāo)身份確認(rèn)，或者起到對使用者一個提示、警示的作用，提醒使用者進(jìn)行進(jìn)一步的身份核實。這種人臉識別方式在不少場合是非常有用的，如酒店、銀行、機(jī)場、碼頭、海關(guān)等處的VIP或黑名單用戶的初步識別與提示等。
3.2 車牌識別
車牌識別技術(shù)主要包括兩類，一類是相對靜止的卡口車牌識別，另一類是車輛處于運動狀態(tài)的車牌識別。
對于停車場卡口類的車牌識別，由于車輛的靜止或速度較慢，再加上車輛對檢測的配合，因而相對容易，識別率也很高。VAIS系統(tǒng)對此類車牌識別，只要攝像機(jī)捕獲的車牌圖片寬度達(dá)到30個像素以上，就能準(zhǔn)確識別出車牌號碼，準(zhǔn)確率幾乎為百分之百。
對于行駛中車輛的牌照識別，如道路上車輛、甚至是逃逸的車輛等，由于復(fù)雜的環(huán)境、高速的運動、其他車輛的遮擋等不利因素存在，大大增加了車牌分割和車號識別的技術(shù)難度。VAIS系統(tǒng)在這種情況下利用監(jiān)控場景中目標(biāo)之間存在的關(guān)聯(lián)和約束，能夠以比較高的準(zhǔn)確率識別出大部分模糊車牌號碼。目前VAIS已多次成功協(xié)助公安部門從車牌識別入手快速偵破不同程度的棘手案件。今后隨著VAIS模糊車牌自動識別技術(shù)的不斷完善，車牌識別準(zhǔn)確率還將不斷提高。
圖5為一小區(qū)內(nèi)可疑車輛車牌自動識別的一個實例，在經(jīng)過VAIS系統(tǒng)對模糊車牌的取點分割，運行識別算法處理后自動輸出車牌號為624M4。圖6為對高速路上快速行駛車輛車牌自動識別一例，識別出的車牌號為422AF。
圖5 卡口車輛車牌識別一例 圖6 行駛車輛車牌識別一例
四、結(jié)語
在智能監(jiān)控視頻分析技術(shù)飛速發(fā)展的過程中，當(dāng)我們遇到困難或出現(xiàn)差錯時，往往問題的源頭還是在提供給智能分析系統(tǒng)的圖像本身的質(zhì)量不佳，如圖像不清晰，目標(biāo)劃分不準(zhǔn)確，圖像內(nèi)容暗淡等，所以，加強視頻圖像的處理和初步分析，是獲得智能視頻分析的準(zhǔn)確結(jié)果的最為關(guān)鍵的必要條件之一。
以上我們簡單介紹了幾項重要的視頻圖像處理和分析技術(shù)，包括圖像透霧處理、暗光圖像和背光圖像的均衡處理，人臉的檢測和識別技術(shù)，車牌的檢測和識別技術(shù)等，這些都是VAIS智能視頻分析系統(tǒng)所具備的基本功能，在實際應(yīng)用中已經(jīng)取得了良好的成績。除了上面介紹的幾種特殊的視頻處理方法外，還有多種其它的預(yù)處理方法，例如感興趣區(qū)域的處理，防抖動處理，動態(tài)目標(biāo)鎖定處理，對該目標(biāo)進(jìn)行跟蹤和增析處理。
只有打牢了視頻處理和分析的基礎(chǔ)，才有可能在此基礎(chǔ)上進(jìn)行智能視頻分析，VAIS朝這一方向努力正在進(jìn)行中，結(jié)合海量視頻數(shù)據(jù)(大數(shù)據(jù))的挖掘，采用人工智能中的機(jī)器學(xué)習(xí)方法，尤其是結(jié)語人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，正在將一步一步地提高智能監(jiān)控視頻分析的速度和準(zhǔn)確性，一步一步地推向?qū)嵱谩?/p>
文/廣東迅通科技股份有限公司朱秀昌
GDSF上海GDSF南京 GDSF成都 GDSF廣州 GDSF北京
中國百大集成商 十大安防品牌 智能安防產(chǎn)品 TOP10
想了解更多？
那就趕緊來關(guān)注我們
聯(lián)系客服
