Linux下c/c++項目代碼覆蓋率的產生方法

最近做了一系列的單元測試相關的工作，除了各種規范及測試框架以外，討論比較多的就是關于代碼覆蓋率的產生，c/c++與其他的一些高級語言或者腳本語言相比較而言，例如 Java、.Net和php/python/perl/shell等，由于沒有這些高級語言和腳本語言的反射的特性，其代碼覆蓋率的產生過程會稍微復雜一些。發現許多同學對C++的覆蓋率如何產生在都不太清楚，這里做一個簡單的介紹。

一、基本使用方法

在Linux上的c/c++開發一般都使用gcc/g++作為主要的編譯器，如果需要產生覆蓋率數據需要在Makefile或者Scons文件中做下面的編譯鏈接設置，

編譯的時候，增加 -fprofile-arcs -ftest-coverage 或者 –coverage；
鏈接的時候，增加?-fprofile-arcs?或者 –lgcov；
打開–g3 選項，去掉-O2以上級別的代碼優化選項；否則編譯器會對代碼做一些優化，例如行合并，從而影響行覆蓋率結果；

基本要求就上面三點，但有一個建議，為了上述幾個編譯選項的使用不影響到正常的編譯過程（否則會極大地影響程序的運行效率）。在使用makefile中通過參數傳遞來支持覆蓋率產生，可以在makefile使用下面的方式，

ifeq ($(coverage), yes)

CXXFLAGS?????? +=? -fprofile-arcs -ftest-coverage

LINKERCXX????? += ?-fprofile-arcs?-ftest-coverage

OPT_FLAGS???? =? -g3

endif

這樣，可以使用 make coverage=yes 來引入這些編譯選項而不會影響到正常的編譯（scons同理）。

二、簡單示例

這里寫了一個簡單的程序做測試，主要包含三個文件：Rectangle.cpp, RectangleTest.cpp, Makefile。

1）Rectangle.cpp 是被測代碼，里面定義了一個簡單的類Rectangle（長方形），里面有三個方法：

set_values()，設置長方形對象的長和寬；
area()，求長方形的面積；
lenth()，求長放形的周長；

2）RectangleTest.cpp 是一個簡單的測試程序，為了demo使用，并沒有使用cppunit/gtest這樣的單元測試框架，直接使用了main()函數來調用Rectangle里面的方法；

Rectangle.cpp和RectangleTest.cpp的代碼如下圖，

3）Makefile比較簡單，主要支持在coverage=yes的參數支持。?可以使用-fprofile-arcs -ftest-coverage 選項，這里為了簡化使用了 –coverage。

覆蓋率產生的過程如下面四個步驟所示，其中步驟3和4，根據需要使用其中一種即可。

1. 編譯鏈接帶覆蓋率參數的源代碼；

2. 運行測試程序；

3. 使用gcov獲取文本形式的覆蓋率數據；

4. 使用lcov獲取html形式的覆蓋率數據；

下面針對本例，做這一過程的逐步演示。

1. 編譯鏈接帶覆蓋率參數的源代碼；

由于Makeifle中已經支持了coverage=yes選項，直接運行 “make coverage=yes”，這個時候會產生測試程序，并同時生成gcno文件（關于gcno文件的詳細解釋，參見第三部分背后原理），如下圖，

2. 運行測試程序；

運行./RectangleTest 測試程序，運行結束后，會針對所有的cpp源代碼文件產生相應的*.gcda文件（關于gcda文件的詳細解釋，參見第三部分背后原理），如下圖

3. 使用gcov獲取文本形式的覆蓋率數據；

需要注意的是，這個步驟不是必須的，如果需要文本格式（*.gcov）的覆蓋率結果，可是走這個步驟。如果想看html格式的結果，直接跳過這一步驟。gcov是gcc自帶的覆蓋率結果產生工具，無需單獨安裝。

針對某個源代碼文件，例如 Rectangle.cpp，執行”gcov?Rectangle.cpp” 會產生Rectangle.cpp.gcov文件。

這是一個存文本文件，可以通過vim打開，看到詳細的行覆蓋率數據，如下

4. 使用lcov獲取html形式的覆蓋率數據；

有些時候需要使用html結果的數據展示，這樣看起來更加直觀一些。IBM開源了lcov這個工具，更多參見?http://ltp.sourceforge.net/coverage/lcov.php

工具使用，如下圖，

手動把cc_result目錄拷貝到http/apache等服務器的htdocs目錄下，可以通過瀏覽器來查看覆蓋率結果，如下，

整個覆蓋率生成的流程按照上面四個步驟就可以搞定。下面一節對其原理做簡單的闡述。

三、基本原理

1. 術語解釋

在了解背后原理之前，需要對覆蓋率技術的一些概念有簡單的了解。主要是基本塊（Basic Block），基本塊圖（Basic Block Graph），行覆蓋率（line coverage）, 分支覆蓋率（branch coverage）等。

基本塊（Basic Block），”A basic block is a sequence of instructions with only entry and only one exit. If any one of the instructions are executed, they will all be executed, and in sequence from first to last.” ?這里可以把基本塊看成一行整體的代碼，基本塊內的代碼是線性的，要不全部運行，要不都不運行；
基本塊圖（Basic Block Graph），基本塊的最后一條語句一般都要跳轉，否則后面一條語句也會被計算為基本塊的一部分。?如果跳轉語句是有條件的，就產生了一個分支(arc)，該基本塊就有兩個基本塊作為目的地。如果把每個基本塊當作一個節點，那么一個函數中的所有基本塊就構成了一個有向圖，稱之為基本塊圖(Basic Block Graph)。且只要知道圖中部分BB或arc的執行次數就可以推算出所有的BB和所有的arc的執行次數；
打樁，意思是在有效的基本塊之間增加計數器，計算該基本塊被運行的次數；打樁的位置都是在基本塊圖的有效邊上；
行覆蓋率（line coverage），源代碼有效行數與被執行的代碼行的比率；
分支覆蓋率（branch coverage），有判定語句的地方都會出現2個分支，整個程序經過的分支與所有分支的比率是分支覆蓋率。注意，與條件覆蓋率(condition coverage)有細微差別，條件覆蓋率在判定語句的組合上有更細的劃分。

2. ?gcc/g++ 編譯選項

gcc需要靜態注入目標程序編譯選項，在編譯鏈接的時候加入2個選項(-ftest-coverage?-fprofile-arcs?)，編譯結束之后會生成 *.gcno 文件，而經過靜態注入的目標程序在“正常結束”后，會在運行目錄下產生*.gcda數據文件，通過gcov工具就可產生覆蓋率數據結果。

-ftest-coverage

Produce a notes file that the gcov code-coverage utility (see gcov—a Test Coverage Program) can use to show program coverage. Each source file’s note file is called auxname.gcno. Refer to the -fprofile-arcs option above for a description of auxname and instructions on how to generate test coverage data. Coverage data matches the source files more closely if you do not optimize.

讓編譯器生成與源代碼同名的.gcno文件（note file），這種文件含有重建基本塊依賴圖和將源代碼關聯至基本塊的必要信息；

-fprofile-arcs

Add code so that program flow arcs are instrumented. During execution the program records how many times each branch and call is executed and how many times it is taken or returns. When the compiled program exits it saves this data to a file called auxname.gcda for each source file. The data may be used for profile-directed optimizations (-fbranch-probabilities), or for test coverage analysis (-ftest-coverage). Each object file’s auxname is generated from the name of the output file, if explicitly specified and it is not the final executable, otherwise it is the basename of the source file. In both cases any suffix is removed (e.g. foo.gcda for input file dir/foo.c, ordir/foo.gcda for output file specified as -o dir/foo.o). See Cross-profiling.

讓編譯器靜態注入對每個源代碼行關聯的計數器進行操作的代碼，并在鏈接階段鏈入經態度libgcov.a，其中包含在程序正常結束時生成*.gcda文件的邏輯；

下面通過源碼解析來說明到底這2個選項做了什么。通過g++ -S選項，產生匯編語言Rectangle.s 和?Rectangle_cc.s?(增加–coverage選項），命令如下，

g++ -c -o Rectangle.s Rectangle.cpp -g -Wall -S

g++ -c -o Rectangle_cc.s Rectangle.cpp -g -Wall –coverage -S

vimdiff?Rectangle.s 和?Rectangle_cc.s，如下圖

通過這樣匯編語言的對比，可以看出gcc通過這2個參數，把打樁的過程完成了。

更深入的內容，例如，如果想知道gcno/gcda文件的格式，可以參考 @livelylittlefish?的一篇文章，GCC Coverage代碼分析-.gcda/.gcno文件及其格式分析（http://blog.csdn.net/livelylittlefish/article/details/6448885）。

四、擴展話題

通過上面三部分的介紹，相信絕大多數覆蓋率問題都可以解決，下面2個問題是我們在實際運行過程中遇到的，也分享一下。

覆蓋率的結果只有被測試到的文件會被顯示，并非所有被編譯的代碼都被作為覆蓋率的分母

實際上，可以看到整個覆蓋率的產生的過程是4個步驟的流程，一般都通過外圍腳本，或者makefile/shell/python來把整個過程自動化。2個思路去解決這個問題，都是通過外圍的偽裝。第一個，就是修改lcov的 app.info ，中間文件，找到其他的文件與覆蓋率信息的地方，結合makefile，把所有被編譯過的源程序檢查是否存于 app.info 中，如果沒有，增加進去。第二個偽裝，是偽裝 *.gcda，沒有一些源碼覆蓋率信息的原因就是該文件沒有被調用到，沒有響應的gcda文件產生。toast（http://toast.taobao.org/）是通過第一種偽裝來實現的，更多了解需要去看下開源代碼。

2. 后臺進程的覆蓋率數據收集；

其實上述覆蓋率信息的產生，不僅可以針對單元測試，對于功能測試同樣適用。但功能測試，一般linux下c/c++都是實現了某個Daemon進程，而覆蓋率產生的條件是程序需要正常退出，即用戶代碼調用 exit?正常結束時，gcov_exit 函數才得到調用，其繼續調用 __gcov_flush 函數輸出統計數據到 *.gcda 文件中。同樣2個思路可以解決這個問題，

第一，給被測程序增加一個 signal handler，攔截 SIGHUP、SIGINT、SIGQUIT、SIGTERM 等常見強制退出信號，并在 signal handler 中主動調用 exit 或 __gcov_flush 函數輸出統計結果。但這個需要修改被測程序。這個也是我們之前的通用做法。但參加過清無同學的一個講座后，發現了下面第二種更好的方法。

第二，借用動態庫預加載技術和 gcc 擴展的 constructor 屬性，我們可以將 signalhandler 和其注冊過程都封裝到一個獨立的動態庫中，并在預加載動態庫時實現信號攔截注冊。這樣，就可以簡單地通過如下命令行來實現異常退出時的統計結果輸出了。