高級分布式系統調試：調試的科學與 USE 方法實戰
前言：從“救火”到“探案”
當一個復雜的分布式系統出現“灰色故障”——例如“服務有時會變慢”、“偶爾出現超時錯誤”——我們該從何處著手？隨機地查看 Grafana 儀表盤，或者漫無目的地 tail -f 日志，往往效率低下，甚至會讓我們迷失在海量的信息中。
高級 SRE 在面對這類問題時，會像一位經驗豐富的偵探。他們不會在犯罪現場隨意亂翻，而是遵循一套嚴謹的方法論，系統性地收集證據、提出假設、驗證推論，最終鎖定“真兇”。這，就是調試的科學。
調試的科學方法與心法
任何一次成功的調試，都離不開這個經典的循環：
- 觀察 (Observe): 從最貼近用戶的癥狀開始。是哪個 SLO 被違反了？影響了多少用戶？高層級的監控儀表盤（如黃金信號）顯示了什么異常？（例如：“觀察到支付服務的 P99 延遲從 100ms 飆升到 2000ms”）。
- 假設 (Hypothesize): 基于觀察到的現象，提出一個具體的、可被證偽的假設。一個好的假設應該是：“我懷疑是由于數據庫 CPU 飽和，導致支付服務寫入訂單時被阻塞，從而引發了延遲飆升。” 一個壞的假設是：“系統變慢了。”
- 測試 (Test): 設計一個實驗或尋找相關數據，來驗證或推翻你的假設。例如，去查看事件發生時間窗口內，數據庫的 CPU 使用率、活躍連接數和慢查詢日志。
- 迭代 (Iterate): 如果假設被證實，就進一步深入（例如，開始分析具體的慢查詢）；如果假設被推翻，就根據新的發現，提出一個新的假設，然后重復這個循環。
調試的心法:
- 保持冷靜: 壓力之下，流程是你的定心丸。
- 質疑一切: “真的是 DNS 的問題嗎？”、“監控圖表顯示的是全部真相嗎？”
- 由外向內: 從用戶受到的影響（SLO）開始，逐層深入到服務、實例、容器，最終到操作系統和硬件。
- 小步快跑: 在應用修復方案時，一次只做一個變更，并密切觀察其影響。
系統性能分析的利器：USE 方法
那么，在“觀察”階段，面對一臺服務器，我們應該看哪些指標，才能快速、全面地了解其健康狀況呢？性能大師 Brendan Gregg
