摘要 介紹覆蓋性測試技術的基本概念以及其在嵌入式系統(tǒng)中的基本工作過程;通過將覆蓋測試工具Bullseye-Coverage移植到嵌入式操作系統(tǒng)(Nuclcus)的具體實現過程,說明系統(tǒng)要求、系統(tǒng)結構,以及具體的技術實現細節(jié)和步驟。其中,如何解決覆蓋數據傳輸問題系統(tǒng)實現的關鍵點。
關鍵詞 覆蓋性測試 嵌入式系統(tǒng) 代碼插裝 Bullsege Covcrage
軟件測試的重要性是毋庸置疑的。如何以zui少的力和資源投入,在zui短的時間內完成測試,發(fā)現軟件系統(tǒng)的缺陷,保證軟件的優(yōu)良品質,是軟件公司探索和追求的目標。然而大家都知道,從理論上講測試是永無止境的,只要不斷測試就一定能不斷發(fā)現問題.那么究竟如何度量測試的進度,如何判斷測試可以完結呢?些,可以依靠測試覆蓋率的分析來實現。嵌入式軟件系統(tǒng)也不例外。
1 代碼覆蓋分析
代碼覆蓋分析過程包含以下幾個方面:
◇通過一組覆蓋測試數據發(fā)現和分析那些沒有被運行到的代碼;
◇為了提高代碼覆蓋率而設計新的測試用例;
◇確定代碼覆蓋的定量標準,這XXX數據也間接地反映測試質量;
◇識別那些冗余的測試用例。
代碼覆蓋分析是一種白盒測試方法,因為覆蓋分析需要訪問測試代碼本身,且經常需要重新編澤程序,以程序的內部結構為基礎來設計測試案例。其基本準則是測試案例要盡可能多地覆蓋程序的內部邏輯結構,發(fā)現其中的錯誤和問題。另外要注意的是,覆蓋分析并不是為了提高程序本身的質量而是為了確保測試用例的質量。一般來說,覆蓋分析通常應用在軟件測試的早期,即單元測試階段。在軟件發(fā)布版本階段是不需要運行軟件覆蓋分析的。
2 覆蓋分析在嵌入式系統(tǒng)上的問題
嵌入式軟件的開發(fā)與通用軟件的開發(fā)很大的不同點在于:嵌入式系統(tǒng)需要采用交叉開發(fā)的方式,即開發(fā)工具運行在軟硬件配置豐富的宿主機上,而嵌入式應用程序則運行在軟硬件資源相對缺乏的目標機上。所以針對覆蓋分析測試,嵌入式系統(tǒng)的困難之一就是如何獲取測試產生的覆蓋數據。犬多數的覆蓋分析測試工具都需要對代碼捅裝,而當在目標環(huán)境下運行經過代碼插裝的可執(zhí)行程序時,就會有覆蓋分析數據產牛。這些數據是分析覆蓋數據報告的重要輸入條件,所以要順利實現嵌入式系統(tǒng)覆蓋分析的一個關鍵點是如何建立宿主機與目標機之間的物理/邏輯連接,解決覆蓋分析數據信息的傳輸問題。
3 BullseyeCoverage的實現方式
BullseyeCoverage是Bllseye公司提供的一款C/C++代碼覆蓋率測試工具。相對于Rational公司的Pure Coverage,BullseyeCoverage支持的C/C++編譯器更多,除了支持各種Unix下的編譯器之外,在Windows下還支持VC、Borland C++、GNU C++和In C++。其提供的代碼覆蓋率是基于條件/判斷的分支覆蓋率,而不是一般的代碼行覆蓋率。
BuuseyeCoverage采用的是先對代碼進行插裝,然后收集覆蓋數據,zui后分析覆蓋率原理的技術。其工作原理是:針對不同的編澤器,設計一個和真實編譯器名字相同的攔截器,這些攔截器文件存放在BullseyeCoverage的bin目錄下。當覆蓋編譯開關打開時,文件在編譯過程中將首先被這些攔截器所攔截,而不是由真實的編譯器去編譯源代碼。在這個攔截過程中,攔截器將一系列探針代碼插入到C/C++源代碼中,然后文件再次通過真實的編譯器生成二進制代碼。當覆蓋編譯開關關閉時,這些攔截器將直接調用真實的編譯器而不進行代碼插裝的過程。兩者的區(qū)別及調用關系如圖1所示。
當完成了代碼插裝并且將編譯好的運行文件下載到嵌入式系統(tǒng)后,開始代碼覆蓋分析另外一個重要的工作過程——覆蓋分析數據更新過程。由于BullseyeCoverage需要在運行時態(tài)對經過覆蓋攔截器生成的覆蓋分析文件(大小一般是運行代碼的1.2~1.5倍)進行讀寫操作,所以可以對覆蓋文件的大小進行簡單的估計,以便設計系統(tǒng)。在數據更新過程中,BullseyeCoverage的每次讀寫操作范圍為l字節(jié)~4 KB。另外,BullseyeCoverage只有在測試程序觸發(fā)了cov_write函數時才會對覆蓋分析文件進行更新。如果覆蓋沒有更新,那么相應地也沒有I/O動作發(fā)生。針對嵌入式系統(tǒng),BullseyeCoverage有兩種實現的方式:
?、倮米x取內存區(qū)數據的原理。首先,通過串口、以太網或者USB將覆蓋分析文件下載到嵌入式系統(tǒng)的某個未用內存區(qū)域;然后,修改測試工具的I/O庫函數,將對覆蓋分析文件操作的更新數據直接寫入那塊內存區(qū)域中。這樣在測試開始后,分析程序會自動更新位于內存中的覆蓋分析文件。由于覆蓋分析文件在內存中,所以這種讀寫操作的速度會非??臁y試完成后,通過串口、網絡或者USB再次將覆蓋分析文件讀回到PC機中,然后利用工具對覆蓋結果進行分析。
?、诶脤嶋H物理通道的原理。系統(tǒng)需要對覆蓋分析文件的I/O操作進行封裝,將需要更新的操作命令和更新內容通過串口、網絡或者USB傳遞給宿主系統(tǒng),而宿主系統(tǒng)需要實現一個簡單的接收更新程序對覆蓋文件進行更新。在這種實現方式中,zui困難的是對每次數據傳輸的緩沖區(qū)大小進行估計。由于BullseyeCoverage每次對覆蓋分析文件的讀寫操作的范圍是1字節(jié)~4 KB,而通常情況下,更新數據會是4~8字節(jié)的小數據塊(在較頻繁的操作中也會有100字節(jié)~4KB數據的更新塊),所以Bullseye-Coverage會采取減少數據傳遞次數、增大數據塊的做法,一次性傳遞完更新數據。如何保證數據的低延時是這種方式的關鍵點。
4 嵌入式操作系統(tǒng)Nucleus的具體應用
Nucleus PLUS嵌入式操作系統(tǒng)是目前的操作系統(tǒng)。Nucleus PLUS是為實時嵌入式應用而設計的一個搶先式多任務操作系統(tǒng)內核,其95%的代碼是用ANSIC寫成的,因此非常便于移植,并能夠支持大多數類型的處理器。Nucleus PLUSzui大的優(yōu)勢在于提供注釋嚴格的C源代碼給每一個用戶。這樣,用戶能夠深入地了解底層內核的運作方式,并可根據自己的特殊要求刪減或改動系統(tǒng)軟件,這對軟件的規(guī)范化管理及系統(tǒng)軟件的測試都有極大的幫助。
基于時間效率的要求,在Nucleus嵌入式系統(tǒng)中實現代碼覆蓋分析采用的足內存存取操作的方式。具體實現過程如下:
?、侔惭bBullseyeCoverage,選擇合適的編譯器。由于使用PXA270作為開發(fā)平臺,所以也選用了In C++編譯器。安裝完成后,從命令行輸入命令"SET COVFILE="XXX""來設定覆蓋分析文件的輸出地點和具體名稱。默認的名稱是test.cov。
②修改Makefile,將編譯器的路徑設置到Bullseye-Coverage的bin目錄下。
③使用命令"cov01-1"打開覆蓋編譯選項。然后編譯代碼,需要在編譯過程中確定調用了BullseycCoverage的攔截器,可以通過查看編澤記錄中是否含有"BullseyeCoverage Compile C++version platform"的信息確定。通常會在編譯結束時發(fā)現鏈接錯誤,這是由于需要調用的函數實現體并沒有編譯、鏈接進來。
④進入到BullseyeCoverage的run目錄下,根據系統(tǒng)平臺要求修改libcov-user.h、atomic-user.h和Makefik文件,用-DSYS_user區(qū)編譯BullseyeCoverage運行庫文件。通過這個選項可以使編譯器選擇用戶自定義的平臺文件,在這些文件中就含有需要封裝的一些函數,如write、read、open等。編譯完的庫文件可以命名為libeov-user.a或libcov-user.lib。
?、菪薷囊獪y試系統(tǒng)的編譯文件,在Makefile的鏈接過程中加入libcov-user.a或libcov-user.lib。再次重新編譯,應該沒有任何錯誤。
⑥根據BullseyeCoverage的要求,將libcov-user.h中帶有REQUIRED標識的函數根據具體情況實現。在這個過程中,建議首先實現error_write_screen,這樣在后續(xù)過程中可以將錯誤信息打印到屏幕或者輸出到測試日志中,然后逐步實現其他函數。
⑦實現了所有必需的函數后,重新編譯一遍確定沒有任何編譯、鏈接問題。zui終會生成2個文件,一個是要運行的二進制文件(如rfs.bin),另外一個是覆蓋分析文件test.cov。
?、鄬fs.bin和覆蓋文件文件分別下載到系統(tǒng)中。其中,將ffs.bin下載到Flash存儲器中,通過Nucleus的調試命令download將test.cov下載到系統(tǒng)內存中。
?、徇\行二進制代碼,在這個過程中,系統(tǒng)內存結構如圖2所示。
?、舛M制代碼運行完畢后,用Nucleus的調試命令upload將test.cov上載到PC機中。
?、嫌肅overage Brozrset打開test.cov,覆蓋分析結果就得到了。
通過實驗,在投有使用BullseyeCoverage時,一般測試方式的測試覆蓋率大致是55%~70%;而通過使用BullseyeCoverage重新設計測試用例,測試覆蓋率提高到了85%~90%,其中7%的測試用例直接影響到產品的質量。使用測試覆蓋分析工具BullseyeCoverage可以使測試更有針對性,減少冗余測試用例測試,提高測試團隊的工作效率,能夠在開發(fā)過程中盡早地發(fā)現Bug。
5 總 結
測試覆蓋分析是一種對測試階段度量及測試工作情況進行分析的很好的方法,可以使測試程度更為明確,階段進度一目了然,其統(tǒng)計值也便于管理部門對當前測試狀態(tài)進行了解與把握。
關鍵詞 覆蓋性測試 嵌入式系統(tǒng) 代碼插裝 Bullsege Covcrage
軟件測試的重要性是毋庸置疑的。如何以zui少的力和資源投入,在zui短的時間內完成測試,發(fā)現軟件系統(tǒng)的缺陷,保證軟件的優(yōu)良品質,是軟件公司探索和追求的目標。然而大家都知道,從理論上講測試是永無止境的,只要不斷測試就一定能不斷發(fā)現問題.那么究竟如何度量測試的進度,如何判斷測試可以完結呢?些,可以依靠測試覆蓋率的分析來實現。嵌入式軟件系統(tǒng)也不例外。
1 代碼覆蓋分析
代碼覆蓋分析過程包含以下幾個方面:
◇通過一組覆蓋測試數據發(fā)現和分析那些沒有被運行到的代碼;
◇為了提高代碼覆蓋率而設計新的測試用例;
◇確定代碼覆蓋的定量標準,這XXX數據也間接地反映測試質量;
◇識別那些冗余的測試用例。
代碼覆蓋分析是一種白盒測試方法,因為覆蓋分析需要訪問測試代碼本身,且經常需要重新編澤程序,以程序的內部結構為基礎來設計測試案例。其基本準則是測試案例要盡可能多地覆蓋程序的內部邏輯結構,發(fā)現其中的錯誤和問題。另外要注意的是,覆蓋分析并不是為了提高程序本身的質量而是為了確保測試用例的質量。一般來說,覆蓋分析通常應用在軟件測試的早期,即單元測試階段。在軟件發(fā)布版本階段是不需要運行軟件覆蓋分析的。
2 覆蓋分析在嵌入式系統(tǒng)上的問題
嵌入式軟件的開發(fā)與通用軟件的開發(fā)很大的不同點在于:嵌入式系統(tǒng)需要采用交叉開發(fā)的方式,即開發(fā)工具運行在軟硬件配置豐富的宿主機上,而嵌入式應用程序則運行在軟硬件資源相對缺乏的目標機上。所以針對覆蓋分析測試,嵌入式系統(tǒng)的困難之一就是如何獲取測試產生的覆蓋數據。犬多數的覆蓋分析測試工具都需要對代碼捅裝,而當在目標環(huán)境下運行經過代碼插裝的可執(zhí)行程序時,就會有覆蓋分析數據產牛。這些數據是分析覆蓋數據報告的重要輸入條件,所以要順利實現嵌入式系統(tǒng)覆蓋分析的一個關鍵點是如何建立宿主機與目標機之間的物理/邏輯連接,解決覆蓋分析數據信息的傳輸問題。
3 BullseyeCoverage的實現方式
BullseyeCoverage是Bllseye公司提供的一款C/C++代碼覆蓋率測試工具。相對于Rational公司的Pure Coverage,BullseyeCoverage支持的C/C++編譯器更多,除了支持各種Unix下的編譯器之外,在Windows下還支持VC、Borland C++、GNU C++和In C++。其提供的代碼覆蓋率是基于條件/判斷的分支覆蓋率,而不是一般的代碼行覆蓋率。
BuuseyeCoverage采用的是先對代碼進行插裝,然后收集覆蓋數據,zui后分析覆蓋率原理的技術。其工作原理是:針對不同的編澤器,設計一個和真實編譯器名字相同的攔截器,這些攔截器文件存放在BullseyeCoverage的bin目錄下。當覆蓋編譯開關打開時,文件在編譯過程中將首先被這些攔截器所攔截,而不是由真實的編譯器去編譯源代碼。在這個攔截過程中,攔截器將一系列探針代碼插入到C/C++源代碼中,然后文件再次通過真實的編譯器生成二進制代碼。當覆蓋編譯開關關閉時,這些攔截器將直接調用真實的編譯器而不進行代碼插裝的過程。兩者的區(qū)別及調用關系如圖1所示。
當完成了代碼插裝并且將編譯好的運行文件下載到嵌入式系統(tǒng)后,開始代碼覆蓋分析另外一個重要的工作過程——覆蓋分析數據更新過程。由于BullseyeCoverage需要在運行時態(tài)對經過覆蓋攔截器生成的覆蓋分析文件(大小一般是運行代碼的1.2~1.5倍)進行讀寫操作,所以可以對覆蓋文件的大小進行簡單的估計,以便設計系統(tǒng)。在數據更新過程中,BullseyeCoverage的每次讀寫操作范圍為l字節(jié)~4 KB。另外,BullseyeCoverage只有在測試程序觸發(fā)了cov_write函數時才會對覆蓋分析文件進行更新。如果覆蓋沒有更新,那么相應地也沒有I/O動作發(fā)生。針對嵌入式系統(tǒng),BullseyeCoverage有兩種實現的方式:
?、倮米x取內存區(qū)數據的原理。首先,通過串口、以太網或者USB將覆蓋分析文件下載到嵌入式系統(tǒng)的某個未用內存區(qū)域;然后,修改測試工具的I/O庫函數,將對覆蓋分析文件操作的更新數據直接寫入那塊內存區(qū)域中。這樣在測試開始后,分析程序會自動更新位于內存中的覆蓋分析文件。由于覆蓋分析文件在內存中,所以這種讀寫操作的速度會非??臁y試完成后,通過串口、網絡或者USB再次將覆蓋分析文件讀回到PC機中,然后利用工具對覆蓋結果進行分析。
?、诶脤嶋H物理通道的原理。系統(tǒng)需要對覆蓋分析文件的I/O操作進行封裝,將需要更新的操作命令和更新內容通過串口、網絡或者USB傳遞給宿主系統(tǒng),而宿主系統(tǒng)需要實現一個簡單的接收更新程序對覆蓋文件進行更新。在這種實現方式中,zui困難的是對每次數據傳輸的緩沖區(qū)大小進行估計。由于BullseyeCoverage每次對覆蓋分析文件的讀寫操作的范圍是1字節(jié)~4 KB,而通常情況下,更新數據會是4~8字節(jié)的小數據塊(在較頻繁的操作中也會有100字節(jié)~4KB數據的更新塊),所以Bullseye-Coverage會采取減少數據傳遞次數、增大數據塊的做法,一次性傳遞完更新數據。如何保證數據的低延時是這種方式的關鍵點。
4 嵌入式操作系統(tǒng)Nucleus的具體應用
Nucleus PLUS嵌入式操作系統(tǒng)是目前的操作系統(tǒng)。Nucleus PLUS是為實時嵌入式應用而設計的一個搶先式多任務操作系統(tǒng)內核,其95%的代碼是用ANSIC寫成的,因此非常便于移植,并能夠支持大多數類型的處理器。Nucleus PLUSzui大的優(yōu)勢在于提供注釋嚴格的C源代碼給每一個用戶。這樣,用戶能夠深入地了解底層內核的運作方式,并可根據自己的特殊要求刪減或改動系統(tǒng)軟件,這對軟件的規(guī)范化管理及系統(tǒng)軟件的測試都有極大的幫助。
基于時間效率的要求,在Nucleus嵌入式系統(tǒng)中實現代碼覆蓋分析采用的足內存存取操作的方式。具體實現過程如下:
?、侔惭bBullseyeCoverage,選擇合適的編譯器。由于使用PXA270作為開發(fā)平臺,所以也選用了In C++編譯器。安裝完成后,從命令行輸入命令"SET COVFILE="XXX""來設定覆蓋分析文件的輸出地點和具體名稱。默認的名稱是test.cov。
②修改Makefile,將編譯器的路徑設置到Bullseye-Coverage的bin目錄下。
③使用命令"cov01-1"打開覆蓋編譯選項。然后編譯代碼,需要在編譯過程中確定調用了BullseycCoverage的攔截器,可以通過查看編澤記錄中是否含有"BullseyeCoverage Compile C++version platform"的信息確定。通常會在編譯結束時發(fā)現鏈接錯誤,這是由于需要調用的函數實現體并沒有編譯、鏈接進來。
④進入到BullseyeCoverage的run目錄下,根據系統(tǒng)平臺要求修改libcov-user.h、atomic-user.h和Makefik文件,用-DSYS_user區(qū)編譯BullseyeCoverage運行庫文件。通過這個選項可以使編譯器選擇用戶自定義的平臺文件,在這些文件中就含有需要封裝的一些函數,如write、read、open等。編譯完的庫文件可以命名為libeov-user.a或libcov-user.lib。
?、菪薷囊獪y試系統(tǒng)的編譯文件,在Makefile的鏈接過程中加入libcov-user.a或libcov-user.lib。再次重新編譯,應該沒有任何錯誤。
⑥根據BullseyeCoverage的要求,將libcov-user.h中帶有REQUIRED標識的函數根據具體情況實現。在這個過程中,建議首先實現error_write_screen,這樣在后續(xù)過程中可以將錯誤信息打印到屏幕或者輸出到測試日志中,然后逐步實現其他函數。
⑦實現了所有必需的函數后,重新編譯一遍確定沒有任何編譯、鏈接問題。zui終會生成2個文件,一個是要運行的二進制文件(如rfs.bin),另外一個是覆蓋分析文件test.cov。
?、鄬fs.bin和覆蓋文件文件分別下載到系統(tǒng)中。其中,將ffs.bin下載到Flash存儲器中,通過Nucleus的調試命令download將test.cov下載到系統(tǒng)內存中。
?、徇\行二進制代碼,在這個過程中,系統(tǒng)內存結構如圖2所示。
?、舛M制代碼運行完畢后,用Nucleus的調試命令upload將test.cov上載到PC機中。
?、嫌肅overage Brozrset打開test.cov,覆蓋分析結果就得到了。
通過實驗,在投有使用BullseyeCoverage時,一般測試方式的測試覆蓋率大致是55%~70%;而通過使用BullseyeCoverage重新設計測試用例,測試覆蓋率提高到了85%~90%,其中7%的測試用例直接影響到產品的質量。使用測試覆蓋分析工具BullseyeCoverage可以使測試更有針對性,減少冗余測試用例測試,提高測試團隊的工作效率,能夠在開發(fā)過程中盡早地發(fā)現Bug。
5 總 結
測試覆蓋分析是一種對測試階段度量及測試工作情況進行分析的很好的方法,可以使測試程度更為明確,階段進度一目了然,其統(tǒng)計值也便于管理部門對當前測試狀態(tài)進行了解與把握。
全年征稿/資訊合作
聯(lián)系郵箱:1271141964@qq.com
免責聲明
- 凡本網注明"來源:智能制造網"的所有作品,版權均屬于智能制造網,轉載請必須注明智能制造網,http://www.tzhjjxc.com。違反者本網將追究相關法律責任。
- 企業(yè)發(fā)布的公司新聞、技術文章、資料下載等內容,如涉及侵權、違規(guī)遭投訴的,一律由發(fā)布企業(yè)自行承擔責任,本網有權刪除內容并追溯責任。
- 本網轉載并注明自其它來源的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時,必須保留本網注明的作品來源,并自負版權等法律責任。
- 如涉及作品內容、版權等問題,請在作品發(fā)表之日起一周內與本網聯(lián)系,否則視為放棄相關權利。
ARCE2025亞洲機器人大會暨展覽會
展會城市:廣州市展會時間:2025-12-19