智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
直播推薦
回放
回放
摘 要：本文詳細介紹了基于arm的嵌入式mpeg-4遠程網絡監(jiān)控系統的視頻采集、壓縮、傳輸和系統控制等方面的設計，提供了基于tcp/ip協議的c/s軟件結構和多線程通信的設計與實現方法。
關鍵詞：嵌入式；mpeg-4；s3c44b0x；多線程
在遠程監(jiān)控系統的應用中，往往要求監(jiān)控中心的主機可以同時接收一路或多路監(jiān)控數據，并且可以同時發(fā)送一路或多路的控制指令。因此，如何在有限帶寬的前提條件下，將多個現場的監(jiān)控數據方便、地通過計算機網絡傳送到監(jiān)控主機上，是該類系統要解決的主要問題。
系統整體結構
為了實現一個基于tcp/ip網絡的嵌入式遠程數字視頻監(jiān)控系統，本設計的系統結構如圖1所示。
圖1中，攝像機通過rs-232接口受外界控制，控制命令為一系列的ascii碼，可以調整攝像頭的焦距和控制云臺的轉動。嵌入式硬編碼板也有一個rs-232接口，可通過它設置信源制式（pal/ntsc）、編碼亮度、編碼色度、音頻速率、編碼音量和編碼速率。編碼板與網絡服務器集成到一個機箱里，編碼板通過pci接口向網絡服務器輸出數據。網絡服務器有多個rs-232接口，分別與攝像機和硬編碼板上的rs-232接口相連。
播放設備由嵌入式硬解碼板和電視機組成。解碼板采用速率自適應方式設計，解碼速率自動匹配遠端編碼器的編碼速率。解碼板和網絡服務器同樣集成在一個機箱里。該系統還實現了軟解碼方式，在這種方式中，播放設備由一臺安裝了視頻采集卡的pc機構成，其上運行解碼軟件和媒體播放器，通過pc機的顯示器和音箱輸出圖像和聲音。
系統的記錄設備由硬盤錄像機構成，安放于顯示點一側，用來存儲系統圖像。
控制臺由一臺運行windows2000操作系統的pc機實現，pc機上運行客戶端的控制軟件。管理服務器也由一臺運行windows2000操作系統的pc機實現，pc機上運行系統管理軟件。在簡化的系統實現中，管理服務器和控制臺可以在同一臺pc機上實現，在這種情況下，管理軟件和控制軟件運行在同一臺主機上，但仍然通過網絡接口通信。
系統硬件設計
網絡服務器是系統硬件的核心部件，它由運行嵌入式操作系統的嵌入式計算機構成，在嵌入式操作系統之上運行著系統的核心軟件。
網絡服務器采用的是基于arm 內核的cpu——s3c44b0x。該芯片是一款基于arm 7tdmi risc芯片。它一方面具有arm處理器的：低功耗、高性能等優(yōu)點；同時又具有豐富的片上資源，非常適合嵌入式產品的開發(fā)。
mpeg-4多媒體編碼芯片則采用韓國intime公司生產的ime6400，該芯片提供了豐富的外圍硬件接口：支持ccir601建議的16bit視頻*接口、32bit數據、81mhz的sdram數據總線接口、i2c總線接口、i2s外部音頻/pcm編碼器/dsp接口以及靈活的主機接口，可以支持多種類型的cpu。
圖2簡單介紹了mpeg-4硬件視頻壓縮處理的結構和網絡接口。mpeg-4視頻采集壓縮模塊以ime6400芯片為核心，完成對標準視頻信號（pal或ntsc信號）的a/d轉換、mpeg-4壓縮以及與s3c44b0x之間的通信功能。圖2中視頻解碼adc把從攝像頭輸入的模擬視頻信號轉化為數字視頻信號，然后進行編碼預處理，即把視頻解碼輸出的ccir601格式的信號轉化為編碼器可以處理的cif或qcif格式，然后再進行mpeg-4壓縮編碼。s3c44b0x上的軟件則通過總線接口單元來控制編碼器的參數設置和讀取編碼壓縮后的碼流數據。視頻數據處理模塊包括以下功能單元：以bt829為核心的視頻adc單元；以ime6400為核心的mpeg-4視頻壓縮單元；以s3c44b0x 為核心構成的控制邏輯和總線接口單元?？偩€接口單元是視頻數據處理模塊與s3c44b0x進行交互的通道，可以和主機進行視頻碼流和控制數據的交換?？刂七壿嬍且曨l采集壓縮模塊的核心，它控制并協調各模塊工作，提供控制信號，通過指令實現系統各模塊所需要的選通、緩沖、讀/寫使能、數據總線和地址總線的切換等等。
鏡頭云臺控制是通過s3c44b0x上的rs-232口進行的，允許用戶根據自己的要求調節(jié)系統。用戶可以通過調節(jié)鏡頭的景深、焦距以及光圈來調整圖像質量，還可以通過云臺的上下左右調節(jié)來獲取不同角度的圖像。由監(jiān)控中心的客戶機端軟件通過socket網絡接口，把調整信息發(fā)送給服務器端，服務器接收到控制指令后，進行指令識別，然后向對應的rs-232口發(fā)送指令去控制云臺，完成調整任務。
視頻數據發(fā)送、指令控制模塊的設計與實現
監(jiān)控現場主機通過視頻數據發(fā)送模塊，將現場采集到的視頻流數據經過編碼后，以ip 組播的形式通過計算機網絡發(fā)送出去。對于發(fā)送來的視頻數據，運行在監(jiān)控中心主機端的視頻數據接收播放模塊一方面可以將其保存起來，作為資料庫便于以后查詢及回放；另一方面還可以實時播放出來。
本系統的軟件結構采用了客戶機服務器結構，兩端通過網絡建立tcp/ip連接，按照自定義的數據通信協議交換數據，完成數據通信和系統控制功能。監(jiān)控中心的客戶端向服務器端申請建立連接，服務器監(jiān)聽到連接請求之后，和客戶端建立socket連接，客戶端向服務器發(fā)送控制信號，服務器端向客戶端發(fā)送視頻碼流。
服務器端軟件運行在s3c44b0x上，軟件設計的主要思想如下：讀取線程、發(fā)送線程和控制線程之間的同步，防止有限資源的浪費。
為了充分利用cpu計算能力，提高系統的整體性能，在該系統中采用多線程技術實現任務的調度。
考慮到監(jiān)控中心主機要同時監(jiān)控多個現場，需要加入多個組播組的情況。我們在設計系統時要求監(jiān)控中心端在接收視頻數據前應向相應的監(jiān)控現場發(fā)送數據請求。為此，我們要建立兩個通訊通道：一個是控制通道，一個為數據通道?？刂仆ǖ烙脕碓诎l(fā)送端和接收端之間建立會話，包括發(fā)送一些數據請求和確認控制等信息。接收端在接收視頻流數據前先向相應的發(fā)送端發(fā)送數據請求，發(fā)送端在接收到數據請求后向接收端發(fā)回相應的ip 組播地址和端口，接收端則加入該組接收視頻流數據。為了保證這些控制信息準確無誤地到達對方，對于控制通道我們選擇可靠性較高的tcp 協議。數據通道用于視頻流數據的通信，我們選用vxworks ip組播組來實現。這兩個通訊通道互不相關，各自執(zhí)行自己的任務。
視頻數據發(fā)送模塊的設計
在視頻傳輸中，服務器端要求碼流讀取和發(fā)送互不干擾，避免讀取和發(fā)送相互等待或者相互沖突的情況出現。同樣，在客戶端解碼和接收也存在這個關系，我們可以采用任務間的通信功能來協調多個獨立任務間的活動。vxworks提供了一套豐富的任務間通信機制，包括共享內存、信號量、消息隊列和管道等等。任務間通信zui直接、*的方法是訪問共享數據結構。由于所有vxworks任務共存單一的線性地址空間，在多個任務間共享數據結構是非常容易的，任一程序中定義的各種類型的全局變量，都可以被所有任務直接訪問。
由于實時組播的視頻流來自于mpeg-4編碼器，所以首先要從編碼器中獲得視頻數據，這主要通過訪問編碼器所提供的i/o端口來完成。本設計采用了一種基于環(huán)形緩沖區(qū)的多任務視頻傳輸技術，較好的解決了碼流讀取和發(fā)送互不干擾的問題。系統的環(huán)形緩沖區(qū)除了達到數據分離互斥作用外，還可以起到平滑碼流的作用。讀取任務和發(fā)送任務是互斥的關系，讀取任務一次從編碼模塊中讀入4k的視頻數據供發(fā)送任務處理。在讀取時為了避免競爭，使用信號量對該環(huán)形緩沖區(qū)進行上鎖，以保證訪問的互斥進行。發(fā)送任務的訪問環(huán)形緩沖區(qū)的情況也類似。通過利用環(huán)形緩沖區(qū)和互斥鎖*可以解決這兩個任務的同步問題。
指令控制模塊的設計
系統定義了自己的指令系統和指令傳輸協議。指令可以分為以下幾類：工作控制（傳輸開始、傳輸停止、存儲控制等）；鏡頭云臺控制（焦距、光圈、自動轉動等）；系統設置（用戶管理、通信參數設置等），每條指令前面都有其*的識別標志，服務器接收到后可以用來和其它指令進行區(qū)分。
多路復用的輸入/輸出模型se-lect函數可以實現的管理套接字。使用工作在無阻塞方式的套接字，在一定程度上提高了程序的效率（與阻塞套接字相比）。但是，程序需要不斷的輪詢各個套接字描述符的情況，這浪費了大量的cpu時間。如果進程不是主動地輪詢套接字的情況，而是將希望監(jiān)視的套接字向系統進行登記，而后采取被動的態(tài)度等待，當套接字上發(fā)生了某些事件后，系統再以某種方式通知進程，接著進程去檢測套接字的情況，發(fā)現對應的事件并進行處理。在這種工作方式下，進程是在已經知道在套接字上發(fā)生了事件時，才對套接字進行檢測，而在沒有事件的情況下，進程將睡眠，所以這種工作方式節(jié)省了大量的cpu時間，對于資源本來就非常緊張的系統，可以大大提高系統的整體性能。
結語
本文設計的基于arm s3c44b0x的嵌入式mpeg-4遠程網絡監(jiān)控系統，目前已經在某省高速公路監(jiān)控中得到了應用，并取得了很好的應用效果。該監(jiān)控系統穩(wěn)定性高，支持基于internet的數據傳輸，c/s的結構體系允許用戶進行遠端操縱系統的工作方式。系統的各個子模塊相對獨立，通過采用mpeg-4視頻壓縮技術，圖像高清晰，畫質可接近dvd效果，能夠實現單畫面輪流監(jiān)看和1~16個畫面同屏監(jiān)看。支持遠程和本地云臺控制，支持多任務工作方式，而且圖像存儲、監(jiān)看、遠程控制可同步進行，監(jiān)控距離隨網絡延伸而不斷加長，具有良好的發(fā)展應用前景。
關鍵詞：嵌入式；mpeg-4；s3c44b0x；多線程
在遠程監(jiān)控系統的應用中，往往要求監(jiān)控中心的主機可以同時接收一路或多路監(jiān)控數據，并且可以同時發(fā)送一路或多路的控制指令。因此，如何在有限帶寬的前提條件下，將多個現場的監(jiān)控數據方便、地通過計算機網絡傳送到監(jiān)控主機上，是該類系統要解決的主要問題。
系統整體結構
為了實現一個基于tcp/ip網絡的嵌入式遠程數字視頻監(jiān)控系統，本設計的系統結構如圖1所示。
圖1中，攝像機通過rs-232接口受外界控制，控制命令為一系列的ascii碼，可以調整攝像頭的焦距和控制云臺的轉動。嵌入式硬編碼板也有一個rs-232接口，可通過它設置信源制式（pal/ntsc）、編碼亮度、編碼色度、音頻速率、編碼音量和編碼速率。編碼板與網絡服務器集成到一個機箱里，編碼板通過pci接口向網絡服務器輸出數據。網絡服務器有多個rs-232接口，分別與攝像機和硬編碼板上的rs-232接口相連。
播放設備由嵌入式硬解碼板和電視機組成。解碼板采用速率自適應方式設計，解碼速率自動匹配遠端編碼器的編碼速率。解碼板和網絡服務器同樣集成在一個機箱里。該系統還實現了軟解碼方式，在這種方式中，播放設備由一臺安裝了視頻采集卡的pc機構成，其上運行解碼軟件和媒體播放器，通過pc機的顯示器和音箱輸出圖像和聲音。
系統的記錄設備由硬盤錄像機構成，安放于顯示點一側，用來存儲系統圖像。
控制臺由一臺運行windows2000操作系統的pc機實現，pc機上運行客戶端的控制軟件。管理服務器也由一臺運行windows2000操作系統的pc機實現，pc機上運行系統管理軟件。在簡化的系統實現中，管理服務器和控制臺可以在同一臺pc機上實現，在這種情況下，管理軟件和控制軟件運行在同一臺主機上，但仍然通過網絡接口通信。
系統硬件設計
網絡服務器是系統硬件的核心部件，它由運行嵌入式操作系統的嵌入式計算機構成，在嵌入式操作系統之上運行著系統的核心軟件。
網絡服務器采用的是基于arm 內核的cpu——s3c44b0x。該芯片是一款基于arm 7tdmi risc芯片。它一方面具有arm處理器的：低功耗、高性能等優(yōu)點；同時又具有豐富的片上資源，非常適合嵌入式產品的開發(fā)。
mpeg-4多媒體編碼芯片則采用韓國intime公司生產的ime6400，該芯片提供了豐富的外圍硬件接口：支持ccir601建議的16bit視頻*接口、32bit數據、81mhz的sdram數據總線接口、i2c總線接口、i2s外部音頻/pcm編碼器/dsp接口以及靈活的主機接口，可以支持多種類型的cpu。
圖2簡單介紹了mpeg-4硬件視頻壓縮處理的結構和網絡接口。mpeg-4視頻采集壓縮模塊以ime6400芯片為核心，完成對標準視頻信號（pal或ntsc信號）的a/d轉換、mpeg-4壓縮以及與s3c44b0x之間的通信功能。圖2中視頻解碼adc把從攝像頭輸入的模擬視頻信號轉化為數字視頻信號，然后進行編碼預處理，即把視頻解碼輸出的ccir601格式的信號轉化為編碼器可以處理的cif或qcif格式，然后再進行mpeg-4壓縮編碼。s3c44b0x上的軟件則通過總線接口單元來控制編碼器的參數設置和讀取編碼壓縮后的碼流數據。視頻數據處理模塊包括以下功能單元：以bt829為核心的視頻adc單元；以ime6400為核心的mpeg-4視頻壓縮單元；以s3c44b0x 為核心構成的控制邏輯和總線接口單元?？偩€接口單元是視頻數據處理模塊與s3c44b0x進行交互的通道，可以和主機進行視頻碼流和控制數據的交換?？刂七壿嬍且曨l采集壓縮模塊的核心，它控制并協調各模塊工作，提供控制信號，通過指令實現系統各模塊所需要的選通、緩沖、讀/寫使能、數據總線和地址總線的切換等等。
鏡頭云臺控制是通過s3c44b0x上的rs-232口進行的，允許用戶根據自己的要求調節(jié)系統。用戶可以通過調節(jié)鏡頭的景深、焦距以及光圈來調整圖像質量，還可以通過云臺的上下左右調節(jié)來獲取不同角度的圖像。由監(jiān)控中心的客戶機端軟件通過socket網絡接口，把調整信息發(fā)送給服務器端，服務器接收到控制指令后，進行指令識別，然后向對應的rs-232口發(fā)送指令去控制云臺，完成調整任務。
視頻數據發(fā)送、指令控制模塊的設計與實現
監(jiān)控現場主機通過視頻數據發(fā)送模塊，將現場采集到的視頻流數據經過編碼后，以ip 組播的形式通過計算機網絡發(fā)送出去。對于發(fā)送來的視頻數據，運行在監(jiān)控中心主機端的視頻數據接收播放模塊一方面可以將其保存起來，作為資料庫便于以后查詢及回放；另一方面還可以實時播放出來。
本系統的軟件結構采用了客戶機服務器結構，兩端通過網絡建立tcp/ip連接，按照自定義的數據通信協議交換數據，完成數據通信和系統控制功能。監(jiān)控中心的客戶端向服務器端申請建立連接，服務器監(jiān)聽到連接請求之后，和客戶端建立socket連接，客戶端向服務器發(fā)送控制信號，服務器端向客戶端發(fā)送視頻碼流。
服務器端軟件運行在s3c44b0x上，軟件設計的主要思想如下：讀取線程、發(fā)送線程和控制線程之間的同步，防止有限資源的浪費。
為了充分利用cpu計算能力，提高系統的整體性能，在該系統中采用多線程技術實現任務的調度。
考慮到監(jiān)控中心主機要同時監(jiān)控多個現場，需要加入多個組播組的情況。我們在設計系統時要求監(jiān)控中心端在接收視頻數據前應向相應的監(jiān)控現場發(fā)送數據請求。為此，我們要建立兩個通訊通道：一個是控制通道，一個為數據通道?？刂仆ǖ烙脕碓诎l(fā)送端和接收端之間建立會話，包括發(fā)送一些數據請求和確認控制等信息。接收端在接收視頻流數據前先向相應的發(fā)送端發(fā)送數據請求，發(fā)送端在接收到數據請求后向接收端發(fā)回相應的ip 組播地址和端口，接收端則加入該組接收視頻流數據。為了保證這些控制信息準確無誤地到達對方，對于控制通道我們選擇可靠性較高的tcp 協議。數據通道用于視頻流數據的通信，我們選用vxworks ip組播組來實現。這兩個通訊通道互不相關，各自執(zhí)行自己的任務。
視頻數據發(fā)送模塊的設計
在視頻傳輸中，服務器端要求碼流讀取和發(fā)送互不干擾，避免讀取和發(fā)送相互等待或者相互沖突的情況出現。同樣，在客戶端解碼和接收也存在這個關系，我們可以采用任務間的通信功能來協調多個獨立任務間的活動。vxworks提供了一套豐富的任務間通信機制，包括共享內存、信號量、消息隊列和管道等等。任務間通信zui直接、*的方法是訪問共享數據結構。由于所有vxworks任務共存單一的線性地址空間，在多個任務間共享數據結構是非常容易的，任一程序中定義的各種類型的全局變量，都可以被所有任務直接訪問。
由于實時組播的視頻流來自于mpeg-4編碼器，所以首先要從編碼器中獲得視頻數據，這主要通過訪問編碼器所提供的i/o端口來完成。本設計采用了一種基于環(huán)形緩沖區(qū)的多任務視頻傳輸技術，較好的解決了碼流讀取和發(fā)送互不干擾的問題。系統的環(huán)形緩沖區(qū)除了達到數據分離互斥作用外，還可以起到平滑碼流的作用。讀取任務和發(fā)送任務是互斥的關系，讀取任務一次從編碼模塊中讀入4k的視頻數據供發(fā)送任務處理。在讀取時為了避免競爭，使用信號量對該環(huán)形緩沖區(qū)進行上鎖，以保證訪問的互斥進行。發(fā)送任務的訪問環(huán)形緩沖區(qū)的情況也類似。通過利用環(huán)形緩沖區(qū)和互斥鎖*可以解決這兩個任務的同步問題。
指令控制模塊的設計
系統定義了自己的指令系統和指令傳輸協議。指令可以分為以下幾類：工作控制（傳輸開始、傳輸停止、存儲控制等）；鏡頭云臺控制（焦距、光圈、自動轉動等）；系統設置（用戶管理、通信參數設置等），每條指令前面都有其*的識別標志，服務器接收到后可以用來和其它指令進行區(qū)分。
多路復用的輸入/輸出模型se-lect函數可以實現的管理套接字。使用工作在無阻塞方式的套接字，在一定程度上提高了程序的效率（與阻塞套接字相比）。但是，程序需要不斷的輪詢各個套接字描述符的情況，這浪費了大量的cpu時間。如果進程不是主動地輪詢套接字的情況，而是將希望監(jiān)視的套接字向系統進行登記，而后采取被動的態(tài)度等待，當套接字上發(fā)生了某些事件后，系統再以某種方式通知進程，接著進程去檢測套接字的情況，發(fā)現對應的事件并進行處理。在這種工作方式下，進程是在已經知道在套接字上發(fā)生了事件時，才對套接字進行檢測，而在沒有事件的情況下，進程將睡眠，所以這種工作方式節(jié)省了大量的cpu時間，對于資源本來就非常緊張的系統，可以大大提高系統的整體性能。
結語
本文設計的基于arm s3c44b0x的嵌入式mpeg-4遠程網絡監(jiān)控系統，目前已經在某省高速公路監(jiān)控中得到了應用，并取得了很好的應用效果。該監(jiān)控系統穩(wěn)定性高，支持基于internet的數據傳輸，c/s的結構體系允許用戶進行遠端操縱系統的工作方式。系統的各個子模塊相對獨立，通過采用mpeg-4視頻壓縮技術，圖像高清晰，畫質可接近dvd效果，能夠實現單畫面輪流監(jiān)看和1~16個畫面同屏監(jiān)看。支持遠程和本地云臺控制，支持多任務工作方式，而且圖像存儲、監(jiān)看、遠程控制可同步進行，監(jiān)控距離隨網絡延伸而不斷加長，具有良好的發(fā)展應用前景。
全年征稿/資訊合作
聯系郵箱：1271141964@qq.com
免責聲明
- 凡本網注明"來源：智能制造網"的所有作品，版權均屬于智能制造網，轉載請必須注明智能制造網，http://www.tzhjjxc.com。違反者本網將追究相關法律責任。
- 企業(yè)發(fā)布的公司新聞、技術文章、資料下載等內容，如涉及侵權、違規(guī)遭投訴的，一律由發(fā)布企業(yè)自行承擔責任，本網有權刪除內容并追溯責任。
- 本網轉載并注明自其它來源的作品，目的在于傳遞更多信息，并不代表本網贊同其觀點或證實其內容的真實性，不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時，必須保留本網注明的作品來源，并自負版權等法律責任。
- 如涉及作品內容、版權等問題，請在作品發(fā)表之日起一周內與本網聯系，否則視為放棄相關權利。
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
SAMPE中國第二十屆國際先進復合材料展覽會
展會城市：北京市展會時間：2025-06-18