文章目錄
- 1. 前言
- 1.1. 編寫目的
- 1.2. 適應范圍與對象
- 2. 術語表
- 2.1. RESAR性能工程
- 2.2. 性能測試
- 2.3. 性能項目
- 2.4. 性能項目方案
- 2.5. 性能項目計劃
- 2.6. 性能需求類術語
- 2.6.1. 性能需求/指標
- 2.6.2. 并發用戶
- 2.6.3. 在線用戶
- 2.6.4. 并發度(并發率)
- 2.6.5. 事務
- 2.6.6. 每秒事務數 (transaction per second,簡寫:TPS)
- 2.6.7. 響應時間(response time,簡寫:RT)
- 2.6.8. 錯誤率
- 2.6.9. 交易/接口/業務
- 2.7. 性能測試類術語
- 2.7.1. 性能腳本
- 2.7.2. 參數化
- 2.7.3. 關聯
- 2.7.4. 思考時間
- 2.7.5. 集合點
- 2.7.6. 檢查點/斷言
- 2.7.7. 壓力機
- 2.8. 性能場景類術語
- 2.8.1. 并發線程
- 2.8.2. 并發交易
- 2.8.3. 性能場景
- 2.8.4. 基準場景
- 2.8.5. 容量場景
- 2.8.6. 穩定性場景
- 2.8.7. 異常場景
- 2.8.8. 業務模型
- 2.8.9. 監控模型
- 2.8.10. 數據模型
- 2.8.11. 分析模型
- 2.8.12. 業務場景
- 2.9. 性能曲線類術語
- 2.9.1. 性能抖動
- 2.9.2. 性能折線圖
- 2.9.3. 最大值/最小值/平均值/標準差/方差
- 2.9.4. 性能直方圖
- 2.10. 性能瓶頸類術語
- 2.10.1. 性能瓶頸
- 2.10.2. 性能計數器
- 2.10.3. 性能瓶頸證據鏈
- 2.11. 性能監控類術語
- 2.11.1. 性能分析決策樹
- 2.11.2. 全局監控
- 2.11.3. 定向監控
- 2.11.4. 響應時間拆分
根據近期7DGroup群員的反饋,對第一版本的術語進行了修改。
1. 前言
1.1. 編寫目的
本規范旨在規范RESAR性能工程中的相關術語,規范性能項目的溝通基礎,指導企業性能項目實施。
1.2. 適應范圍與對象
本規范適用于企業級性能工程。
本規范預期讀者為IT技術管理人員、架構師、性能實施人員、項目開發人員、運維支持人員等。
2. 術語表
2.1. RESAR性能工程
RESAR性能工程是承接業務需求和架構、開發產出物,通過明確性能需求指標、準備性能環境、設計性能場景、分析定位優化性能瓶頸、產出性能報告的性能測試實施項目,輸出生產容量評估結論和性能參數配置,并通過環比生產環境性能容量需求、業務需求、性能場景執行數據判斷性能需求是否全部滿足并實施的完整過程。
2.2. 性能測試
性能測試是針對系統的性能指標,建立性能測試模型,制定性能測試方案,制定監控策略,在場景條件之下執行性能場景,分析判斷性能瓶頸并調優,最終得出性能結果來評估系統的性能指標是否滿足既定值。
2.3. 性能項目
性能項目指對IT系統性能容量評估并定位性能瓶頸的項目。其包括使用系統基準測試、容量測試、穩定性測試、異常測試、高可用測試、災備測試、可擴展性測試等需要使用壓力手段實施的系統性能容量評估項目。
2.4. 性能項目方案
性能方案是指在性能項目中,對系統架構、被測系統或業務范圍、性能需求指標、性能場景執行策略、性能環境、基礎數據、監控策略、性能工具(包括測試及監控、分析工具)、瓶頸分析策略、組織架構、輸入輸出物、里程碑計劃、風險等進行詳細描述的綜合性文檔。
2.5. 性能項目計劃
性能項目計劃是指在性能項目中,定義階段、輸入輸出、人員角色、任務時長以及任務依賴的計劃文檔。
2.6. 性能需求類術語
2.6.1. 性能需求/指標
性能需求/指標是在性能場景執行之前定義的業務和技術需求/指標。
業務性能需求/指標是指在單交易/單接口/單業務上的具體數值(包括平均值、標準方差、90%值、95%值等)。
技術性能需求/指標是指在性能計數器上的具體數值。
在整個性能項目實施過程中,性能需求/指標需要和性能場景比對,以確定性能場景是否可結束,并且在性能項目結果報告中,要明確指出性能需求/指標是否達到。
2.6.2. 并發用戶
并發用戶指單位時間內完成滿足真實用戶完整的業務操作的用戶個數。
注意:并發線程不直接等價于并發用戶。
2.6.3. 在線用戶
在線用戶指在單位時間內系統可維護的用戶會話個數。
2.6.4. 并發度(并發率)
并發度是指被測系統在單位時間內的并發用戶數與在線用戶數的比例值。
2.6.5. 事務
事務是指在性能腳本中明確定義起止點的執行單元。在性能場景中,事務起止點的定義應根據性能需求/指標確定,即如果明確要求交易/接口/業務/用戶級別的性能需求/指標,則事務就應該定義在對應級別。
2.6.6. 每秒事務數 (transaction per second,簡寫:TPS)
每秒事務數是在單位時間內(如1秒)性能腳本中所定義的事務完成的次數。此處的“完成”是指從發出請求并得到完整的響應內容的過程。
2.6.7. 響應時間(response time,簡寫:RT)
響應時間是指完成一個完整的事務所消耗的時間。響應時間包括了請求時間和響應時間。
2.6.8. 錯誤率
錯誤率是指出現錯誤的交易/接口/業務數與已執行的交易/接口/業務總數的比值。在性能項目中,性能需求/指標需要包含明確的可接受的錯誤率范圍。
2.6.9. 交易/接口/業務
交易/接口/業務是根據不同行業對性能需求指標的描述習慣進行的區分。如在金融交易類系統(如銀行核心系統等)稱為交易;在互聯網系統中稱為接口;在一些特定的業務系統(如ERP等)稱為業務。
2.7. 性能測試類術語
2.7.1. 性能腳本
性能腳本是指模擬生產環境真實業務產生的一系列技術請求的集合。
2.7.2. 參數化
參數化是在性能腳本中為了模擬真實業務的不同輸入值而使用的替換輸入值方法。
2.7.3. 關聯
關聯是指在性能腳本中為了模擬真實業務在請求過程中出現的動態數值而使用的替換動態值的方法。
2.7.4. 思考時間
思考時間是指在性能腳本中為了模擬真實用戶的操作間隔而采用的技術。
2.7.5. 集合點
集合點是指在性能腳本中為了模擬大量真實用戶在短時間段內訪問系統而采用的技術。
2.7.6. 檢查點/斷言
檢查點/斷言是指在性能腳本中比對返回值與預期值的技術。設計檢查點/斷言的目的是為了確定性能腳本成功執行。
2.7.7. 壓力機
壓力機是指通過多進程/多線程模擬滿足場景設計的單個壓力發起節點。通常情況下,單壓力節點是指虛擬機或獨立的硬件主機。
2.8. 性能場景類術語
2.8.1. 并發線程
并發線程指壓力工具中同時運行的壓力線程個數。注意,并發線程不直接等價于并發用戶。
2.8.2. 并發交易
并發交易指被測系統中在單位時間內完成的業務交易個數。
注意:并發線程不直接等價于并發交易。
2.8.3. 性能場景
性能場景是一系列模擬生產真實場景的技術實現。性能測試場景包括:性能腳本、業務模型、監控模型等內容。性能場景包括基準場景、容量場景、穩定性場景等。
2.8.4. 基準場景
基準性能場景是為了驗證系統中所有業務(單交易、單接口、單業務)本身的容量能力而設計的性能場景。基準性能場景以單業務連續遞增壓力為基礎,測試出單業務的最大容量,為容量性能場景做準備。
2.8.5. 容量場景
容量場景是按照真實生產環境的業務容量模型的配置,在連續遞增并發壓力線程的情況下進行測試,驗證系統在真實生產環境中的業務峰值。
2.8.6. 穩定性場景
穩定場景是在固定的系統容量下持續運行長時間,查看系統長期運行時的業務處理能力及系統可能存在的缺陷。
穩定性性能場景是為了驗證系統在真實生產環境中是否可以長期穩定地運行。穩定性性能場景需要根據容量性能場景的結果進行設計。
2.8.7. 異常場景
異常場景是通過模擬系統可能遇到的各種異常情況,如帶寬受限、網絡連通不好、網絡延時、超時、各系統主機宕機、應用異常終止、資源死鎖、大并發用戶集中爆發訪問等情況,檢查系統的異常處理能力。
2.8.8. 業務模型
業務模型是指通過統計各業務的訪問量得到的比例值。
通常是通過統計生產環境的各業務訪問量得到業務模型,業務模型在具體的性能場景配置時比例之和為100%。
2.8.9. 監控模型
監控模型是指針對系統技術棧規劃監控工具以覆蓋全局監控中所有性能計數器的方法。
2.8.10. 數據模型
數據模型(Data Model)是數據特征的抽象,它從抽象層次上描述了系統的靜態特征、動態行為和約束條件,為數據的表示與操作提供一個抽象的框架。數據模型所描述的內容有三部分,分別是數據結構、數據操作和數據約束。
[此定義來自網絡。]
2.8.11. 分析模型
分析模型是指性能瓶頸判斷過程中使用到的邏輯抽象。分析模型描述了性能瓶頸相關的計數器、分析動作及判斷規則,為性能瓶頸分析提供策略支撐。
2.8.12. 業務場景
業務場景即生產系統在運行過程中所有相關的狀態信息。
2.9. 性能曲線類術語
性能曲線包括TPS、響應時間、錯誤率、資源使用率(CPU、磁盤IO、網絡、內存、系統等)等和性能相關的所有曲線。
2.9.1. 性能抖動
性能抖動是指在性能場景執行過程中性能計數器的采樣值的分散程度,可以體現出性能曲線出現的上下波動。性能曲線的抖動可以用計數器采樣值的方差和標準差來表示。
2.9.2. 性能折線圖
性能折線圖指對性能計數器采集的數據使用折線圖的形式展現。有些性能計數器適合使用使用折線圖的形式展現,如對TPS使用折線圖的形式展現以判斷TPS的趨勢。
2.9.3. 最大值/最小值/平均值/標準差/方差
最大值/最小值/平均值/標準差/方差是在性能工程中描述性能計數器采集的數據集的基本工具,使用最大值/最小值/平均值/標準差/方差可以描述性能計數器的趨勢,以判斷是否滿足容量目標或判斷性能瓶頸。
2.9.4. 性能直方圖
性能直方圖是指對性能計數器采集的數據使用直方圖的形式展現。有些性能計數器適合使用直方圖的形式展現,如對響應時間使用直方圖的形式展現以判斷響應時間的范圍分布。
2.10. 性能瓶頸類術語
2.10.1. 性能瓶頸
性能瓶頸是指在性能場景執行過程中出現的技術問題,以及不能滿足性能測試需求/指標的性能問題。
2.10.2. 性能計數器
性能計數器是用于監測和度量系統或應用服務性能的工具,是系統提供的一種計量機制,用于收集和記錄各種性能指標和統計數據。
2.10.3. 性能瓶頸證據鏈
性能瓶頸證據鏈是指為找到性能瓶頸的根本原因分析出的計數器的關聯關系描述。性能瓶頸證據鏈應遵循四個特性:連貫性、完整性、準確性、不可跳躍性。
2.11. 性能監控類術語
2.11.1. 性能分析決策樹
性能分析決策樹是指通過對系統架構的分析,羅列所有技術組件的模塊的性能計數器而形成的關系樹。簡言之,性能分析決策樹即計數器關系樹。
2.11.2. 全局監控
全局監控是指對被測系統完整的性能分析決策樹中所有的計數器進行監控。
2.11.3. 定向監控
定向監控是指為在定位性能瓶頸過程中,根據全局監控中計數器值進行下鉆分析的過程中執行的監控。
2.11.4. 響應時間拆分
響應時間拆分是指通過對被測系統的架構進行分析,利用分段的技術手段把響應時間定位到具體的技術組件,進而利用分層的技術手段把響應時間定位到技術組件的具體模塊。