摘要:為了實(shí)現(xiàn)移動視頻監(jiān)控,提出了一種基于智能手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)。介紹了監(jiān)控系統(tǒng)的體系結(jié)構(gòu)和硬件平臺,闡述了嵌入式操作系統(tǒng)Android應(yīng)用程序的開發(fā)方法,并結(jié)合實(shí)際的應(yīng)用系統(tǒng),重點(diǎn)論述了Android平臺上視頻監(jiān)控客戶端的設(shè)計(jì)思路。移植了音視頻解碼庫FFmpeg進(jìn)行H.264視頻解碼,并采用OpenGLES實(shí)現(xiàn)實(shí)時視頻顯示。在無線局域網(wǎng)絡(luò)的環(huán)境下對視頻監(jiān)控終端進(jìn)行測試,達(dá)到了利用手機(jī)進(jìn)行移動視頻監(jiān)控的目的。
隨著多媒體技術(shù)、視頻壓縮技術(shù)以及網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展,視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡(luò)化、智能化方向持續(xù)發(fā)展,并越來越廣泛地滲透到政府、教育、娛樂、醫(yī)療等領(lǐng)域。目前大部分的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是基于WEB服務(wù)器的,監(jiān)控終端為PC機(jī),用戶使用瀏覽器獲取監(jiān)控服務(wù)。由于互聯(lián)網(wǎng)接入地點(diǎn)的限制,普通的網(wǎng)絡(luò)視頻監(jiān)控?zé)o法滿足用戶在任何時間、任何地點(diǎn)獲取監(jiān)控信息的需求。
本文介紹了一種以Android智能手機(jī)為終端的
視頻監(jiān)控系統(tǒng),該系統(tǒng)將傳統(tǒng)的視頻監(jiān)控與移動多媒體技術(shù)相結(jié)合,真正實(shí)現(xiàn)了移動視頻監(jiān)控。
1、系統(tǒng)的結(jié)構(gòu)
本文中的視頻監(jiān)控系統(tǒng)采用C/S體系結(jié)構(gòu)。
如圖1所示,該系統(tǒng)由視頻采集端(攝像頭),視頻服務(wù)器以及監(jiān)控客戶端等構(gòu)成。
圖1視頻監(jiān)控系統(tǒng)總體結(jié)構(gòu)
視頻服務(wù)器是整個系統(tǒng)的核心部分,它將攝像頭采集到的原始模擬信號轉(zhuǎn)換為數(shù)字信號,并對視頻數(shù)據(jù)進(jìn)行編碼壓縮,zui后通過Internet將壓縮后的數(shù)據(jù)傳送至客戶端??蛻舳送ㄟ^TCP/IP協(xié)議訪問服務(wù)器,通過對視頻數(shù)據(jù)的接收、解碼以及顯示,實(shí)現(xiàn)實(shí)時預(yù)覽功能。客戶端也可以根據(jù)用戶需求發(fā)送控制命令,實(shí)現(xiàn)對前端設(shè)備的控制操作,如云臺控制等。
服務(wù)器部分采用Hi3515處理器芯片為硬件平臺,并移植了嵌入式操作系統(tǒng)Linux作為整個系統(tǒng)運(yùn)行的軟件環(huán)境。Hi3515是一款基于ARM9處理器內(nèi)核以及視頻硬件加速引擎的高性能通信媒體處理器,具有H.264和MJPEG多協(xié)議編解碼能力。
本文以基于Hi3515的遠(yuǎn)程視頻監(jiān)控系統(tǒng)為例,重點(diǎn)介紹了Android平臺上監(jiān)控客戶端的設(shè)計(jì)過程。
2、Android開發(fā)介紹
Android是基于Linux開放性內(nèi)核的操作系統(tǒng),是Google公司在2007年11月5日公布的手機(jī)操作系統(tǒng)。Android采用軟件堆層的架構(gòu),主要分為三部分:底層以Linux核心為基礎(chǔ),提供基本功能;中間層包括函數(shù)庫和虛擬機(jī);zui上層是各種應(yīng)用軟件。
Android平臺顯著的開放性使其擁有眾多的,應(yīng)用日益豐富,不僅應(yīng)用于智能手機(jī),也向平板電腦、智能MP4方面急速擴(kuò)張。
Android應(yīng)用程序用Java語言編寫,每個應(yīng)用程序都擁有一個獨(dú)立的Dalvik虛擬機(jī)實(shí)例,這個實(shí)例駐留在一個由Linux內(nèi)核管理的進(jìn)程中。Dalvik支持JavaNativeInterface(JNI)編程方式,Android應(yīng)用程序可以通過JNI調(diào)用C/C++開發(fā)的共享庫,實(shí)現(xiàn)"Java+C冶的編程方式。開發(fā)Android應(yīng)用程序zui簡捷的方式是安裝AndroidSDK和EclipseIDE.
Eclipse提供了一個豐富的Java環(huán)境,Java代碼通過編譯后,AndroidDeveloperTools會將它打包,用于安裝。
3、監(jiān)控客戶端的設(shè)計(jì)與實(shí)現(xiàn)
基于Android平臺的監(jiān)控客戶端的總體框架如圖2所示,分別由網(wǎng)絡(luò)通訊模塊、視頻解碼模塊以及視頻顯示模塊等構(gòu)成。其中網(wǎng)絡(luò)通訊模塊接收來自服務(wù)器的所有數(shù)據(jù),對數(shù)據(jù)進(jìn)行解析,并將視頻數(shù)據(jù)存入到視頻緩沖區(qū)。視頻解碼模塊負(fù)責(zé)從視頻緩沖區(qū)中讀取數(shù)據(jù)并送入H.264解碼器進(jìn)行解碼。zui后,采用OpenGL圖形庫將解碼后圖像繪制到屏幕上實(shí)現(xiàn)視頻播放。
圖2客戶端總體框架。
3.1H.264視頻解碼器的實(shí)現(xiàn)
在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中,視頻的編碼壓縮是非常必要和關(guān)鍵的工作,沒有經(jīng)過壓縮的海量數(shù)據(jù)對網(wǎng)絡(luò)傳輸系統(tǒng)來說是無法承受的[7].H.264是目前的視頻壓縮算法,它由視頻編碼層VCL和網(wǎng)絡(luò)提取層NAL兩部分組成。其中,VCL進(jìn)行視頻編解碼,包括運(yùn)動補(bǔ)償預(yù)測、變換編碼和熵編碼等;NAL采用適當(dāng)?shù)母袷綄CL視頻數(shù)據(jù)進(jìn)行封裝打包。H.264標(biāo)準(zhǔn)對編碼效率和圖像質(zhì)量進(jìn)行了諸多改進(jìn),且抗丟包性能和抗誤碼性能好,適應(yīng)各種網(wǎng)絡(luò)環(huán)境,非常適合于對壓縮率要求高,網(wǎng)絡(luò)環(huán)境復(fù)雜的移動視頻監(jiān)控。
客戶端接收的數(shù)據(jù)是經(jīng)過H.264編碼壓縮后的數(shù)據(jù),需要經(jīng)過H.264解碼還原視頻圖像后才能夠顯示,因此,H.264解碼器是客戶端的關(guān)鍵部分。這里移植了開源的音視頻解碼庫FFmpeg進(jìn)行H.264解碼。在Android應(yīng)用程序中使用FFmpeg的步驟如下:
?。?)在Linux環(huán)境下安裝Android原生開發(fā)工具包NDK.
(2)創(chuàng)建jni文件夾,將FFmpeg工程復(fù)制到文件夾下。創(chuàng)建H264Decoder.c源文件,提供Android程序使用的接口函數(shù),文件需要包括JNI的操作頭文件<jni.h>,且函數(shù)名有固定的形式,如com_ipcamera_PreView_H264Decoder表示com_ipcamera包下面PreView類中H264Decoder函數(shù)。
?。?)創(chuàng)建Android.mk文件,該文件包含正確構(gòu)建和命名庫的MakeFile說明。分別在LOCAL_SRC_FILES和LOCAL_C_INCLUDES項(xiàng)中添加編譯模塊所需源文件和頭文件目錄。
?。?)執(zhí)行NDK開發(fā)包中的ndk鄄build腳本,生成對應(yīng)的。so共享庫,并復(fù)制到Android工程下的libs/armeabi目錄下。
(5)在Android程序中通過System.loadLibrary("庫名稱冶)加載所需要的庫,加載成功后,應(yīng)用程序就可以使用H264Decoder函數(shù)進(jìn)行H.264的解碼。
3.2OpenGLES繪圖
為了提高繪圖的效率,客戶端使用OpenGLES實(shí)現(xiàn)視頻圖像的顯示。OpenGLES是一個2D/3D輕量圖形庫,是跨平臺圖形庫OpenGL的簡化版。
OpenGLES專門針對手機(jī)、PDA和游戲主機(jī)等嵌入式設(shè)備而設(shè)計(jì),目的是為了充分利用硬件加速,適合復(fù)雜的、圖形密集的程序。
Android中使用GLSurfaceView來顯示OpenGL視圖,該類繼承至SurfaceView并包含了一個專門用于渲染3D的接口Renderer,主要通過實(shí)現(xiàn)ON鄄DrawFrame、onSurfaceChanged以及onSurfaceCreated等方法構(gòu)建所需的Renderer.解碼器解碼一幀圖像后,調(diào)用GLSurfaceView的requeSTRender方法通知OpenGLES完成視頻圖像的顯示。使用OpenGL繪圖的核心代碼如下:
3.3多線程設(shè)計(jì)
視頻數(shù)據(jù)的接收和解碼都是復(fù)雜、持續(xù)的過程,如果其中一個過程出現(xiàn)阻塞會影響整個程序的運(yùn)行,因此,客戶端使用多線程實(shí)現(xiàn)數(shù)據(jù)接收和視頻解碼的并行處理。在整個程序運(yùn)行過程中,主線程響應(yīng)用戶操作,負(fù)責(zé)屏幕刷新工作,并創(chuàng)建兩個子線程:數(shù)據(jù)接收和視頻解碼子線程,處理過程如圖3所示。
圖3子線程處理流程。
在Java中,多線程的實(shí)現(xiàn)有兩種方式:擴(kuò)展java.lang.Thread類或?qū)崿F(xiàn)java.lang.Runnable接口。這里通過繼承Thread類并覆寫run()方法實(shí)現(xiàn)兩個子線程。在多線程的應(yīng)用中關(guān)鍵是處理好線程之間的同步問題,以解決對共享存儲區(qū)的訪問沖突,避免引起線程甚至整個系統(tǒng)的死鎖。Java多線程主要利用synchronized關(guān)鍵字和wait()、notify()等方法實(shí)現(xiàn)線程間的同步。
4、結(jié)束語
目前,該系統(tǒng)已經(jīng)在實(shí)驗(yàn)室進(jìn)行測試,服務(wù)器輸出15fpsCIF格式的H.264視頻數(shù)據(jù),客戶端安裝在Android手機(jī)上,通過WIFI接入無線局域網(wǎng)中與服務(wù)器建立連接,用戶界面如圖4所示,可實(shí)現(xiàn)遠(yuǎn)程視頻預(yù)覽、云臺控制等操作。
圖4監(jiān)控客戶端
隨著3G時代的到來,數(shù)據(jù)傳輸速度有了大幅提升,為移動實(shí)時視頻業(yè)務(wù)的實(shí)現(xiàn)創(chuàng)造更好的條件。
手機(jī)用戶可以直接接入3G網(wǎng)絡(luò)訪問視頻監(jiān)控服務(wù)器,實(shí)現(xiàn)移動在線的實(shí)時視頻監(jiān)控。由此可見,手機(jī)視頻監(jiān)控市場潛力巨大,具有很好的發(fā)展前景。