benchmark::State

benchmark::State是Google Benchmark庫中的一個核心類，用于管理單個基準測試的狀態信息和控制基準測試的執行流程。在編寫基準測試時，這個類提供了一套豐富的接口，允許用戶獲取測試循環的次數、調整測試參數、測量時間等，從而使基準測試既靈活又準確。以下是benchmark::State的一些主要用途和功能：

1. 控制測試循環

在基準測試中，通常需要重復執行某項操作多次以獲得可靠的測量結果。benchmark::State通過一個迭代器來控制這個測試循環。例如：

for (auto _ : state) {// 需要測試性能的代碼
}

這里的循環會自動根據測試的需要重復執行，直到Google Benchmark認為已經收集到足夠的數據為止。

2. 測量時間

默認情況下，Google Benchmark會自動測量每次迭代的時間。然而，有時候我們可能需要排除一些準備工作的時間。此時，可以使用state.PauseTiming()和state.ResumeTiming()來暫停和恢復計時：

for (auto _ : state) {state.PauseTiming();// 不需要計入時間的準備工作state.ResumeTiming();// 被測量的代碼
}

3. 自定義指標

除了時間，你還可以通過state.counters來報告其他自定義指標。例如：

for (auto _ : state) {// 測試代碼state.counters["MyMetric"] = 1.23; // 設置自定義指標
}

4. 處理參數化測試

當你使用參數化的基準測試時，可以通過state.range(0)等方法來獲取測試參數的值，這對于執行需要不同輸入大小的測試非常有用。

static void BM_SomeFunction(benchmark::State& state) {int input = state.range(0);for (auto _ : state) {// 使用input作為輸入的測試代碼}
}
BENCHMARK(BM_SomeFunction)->Arg(8)->Arg(64)->Arg(512); // 參數化測試

原理

C++中的基準測試（Benchmarking）主要是衡量某段代碼或程序在特定條件下的性能表現，如執行時間、內存使用、CPU周期等。Google Benchmark是C++中常用的一個基準測試庫，其原理和實現方式代表了C++基準測試的典型做法。以下是C++基準測試的一般原理和關鍵概念：

1. 重復執行：

基準測試通過重復執行被測代碼多次來獲得一個平均值，以減少測試結果的誤差。由于操作系統和硬件的復雜性，單次執行的時間可能會受到很多因素的影響，重復執行可以幫助平滑這些隨機波動。

2. 自動調整迭代次數：

為了確保測試結果的準確性，Google Benchmark等庫會自動調整每個測試循環的迭代次數。庫會根據前幾次迭代的執行時間動態調整，以確保總的測試時間既不會太長，也足以獲得穩定的性能數據。

3. 避免優化：

編譯器的優化可能會改變代碼的執行方式，甚至完全移除某些看似“無用”的代碼。為了防止這種情況，基準測試庫提供了特定的機制來“欺騙”編譯器，防止它過度優化。例如，使用volatile關鍵字或者通過某些方法將結果輸出到黑盒（black hole）函數。

4. 精確計時：

基準測試需要非常精確地測量時間。這通常通過使用操作系統提供的高精度計時器實現，如Linux上的clock_gettime或Windows上的QueryPerformanceCounter。

5. 統計分析：

簡單的平均值可能不足以反映真實的性能表現，因此高級的基準測試工具還會提供更多統計數據，如中位數、標準差等，以及運行結果的置信區間。這有助于更全面地了解性能特性。

6. 參數化測試：

對于需要測試不同輸入或條件下性能的情況，基準測試庫允許參數化測試，即同一段代碼可以自動應用多組參數進行測試，方便評估在不同條件下的性能差異。

7. 隔離和控制：

為了確保測試結果的穩定和可比較，基準測試盡可能在隔離的環境下運行，并控制外部變量的干擾，如嘗試禁用系統的動態頻率調整等。

實現概覽：

• 測試循環： 通過編寫特定的測試函數，并在函數體內使用循環，讓Google Benchmark等庫控制循環次數。
• 計時和控制： 使用庫提供的API進行精確計時，暫停計時（在準備階段），以及恢復計時（在測試階段）。
• 結果報告： 最后，基凊測試庫會收集所有迭代的執行時間，計算并報告最終的性能指標。