本文詳細介紹 “圖像分類精度評價的方法”。
圖像分類后,需要評估分類結果的準確性,以判斷分類器的性能和結果的可靠性。
常涉及到下面幾個概念(指標) 誤差矩陣、總體精度、用戶精度、生產者精度和 Kappa 系數。
1. 誤差矩陣(Error Matrix / Confusion Matrix)
誤差矩陣是一個 n×nn \times nn×n 的矩陣,用于顯示分類結果與實際地面真實數據的對應關系。
- nnn 表示類別數量。
- 矩陣的行表示分類結果(分類圖像),列表示真實類別(地面調查數據)。
示意:
分類\實際 | 類別1 | 類別2 | … | 類別n |
---|---|---|---|---|
類別1 | x11x_{11}x11? | x12x_{12}x12? | … | x1nx_{1n}x1n? |
類別2 | x21x_{21}x21? | x22x_{22}x22? | … | x2nx_{2n}x2n? |
… | … | … | … | … |
類別n | xn1x_{n1}xn1? | xn2x_{n2}xn2? | … | xnnx_{nn}xnn? |
- 對角線元素 xiix_{ii}xii? 表示分類正確的像元數。
- 非對角線元素表示分類錯誤的像元數。
2. 總體精度(Overall Accuracy, OA)
定義:
總體精度表示分類正確的像元占總像元的比例,是最直觀的精度指標。
公式:
OA=∑i=1nxiiN OA = \frac{\sum_{i=1}^{n} x_{ii}}{N} OA=N∑i=1n?xii??
其中:
- xiix_{ii}xii? 為對角線元素(分類正確的像元數)
- NNN 為總像元數 N=∑i=1n∑j=1nxijN = \sum_{i=1}^{n} \sum_{j=1}^{n} x_{ij}N=∑i=1n?∑j=1n?xij?
示例:如果總像元 1000 個,對角線上正確分類像元 850 個,則總體精度為:
OA=8501000=0.85?(85%) OA = \frac{850}{1000} = 0.85 \, (85\%) OA=1000850?=0.85(85%)
3. 用戶精度(User’s Accuracy, UA)
定義:
用戶精度表示地圖上某一類別像元被正確分類的概率,也叫“可靠度”。
公式:
UAi=xii∑j=1nxij UA_i = \frac{x_{ii}}{\sum_{j=1}^{n} x_{ij}} UAi?=∑j=1n?xij?xii??
- 分母是該行總數(分類為類別 iii 的像元總數)
- 分子是該行的對角線元素(正確分類的像元數)
例子:若分類為“水體”的像元總數為 200,其中真實為水體的 180 個:
UA水體=180200=0.9?(90%) UA_{\text{水體}} = \frac{180}{200} = 0.9 \, (90\%) UA水體?=200180?=0.9(90%)
4. 生產者精度(Producer’s Accuracy, PA)
定義:
生產者精度表示地面某一類別像元被正確分類的概率,也叫“遺漏誤差”。
公式:
PAi=xii∑j=1nxji PA_i = \frac{x_{ii}}{\sum_{j=1}^{n} x_{ji}} PAi?=∑j=1n?xji?xii??
- 分母是該列總數(實際屬于類別 iii 的像元總數)
- 分子是對角線元素(正確分類的像元數)
例子:若實際水體像元 190 個,正確分類為水體的 180 個:
PA水體=180190≈0.947?(94.7%) PA_{\text{水體}} = \frac{180}{190} \approx 0.947 \, (94.7\%) PA水體?=190180?≈0.947(94.7%)
5. Kappa 系數(Kappa Coefficient, κ\kappaκ)
定義:
Kappa 系數衡量分類精度與隨機分類精度的偏差,是一個綜合精度指標。
公式:
κ=N∑i=1nxii?∑i=1n(xi+?x+i)N2?∑i=1n(xi+?x+i) \kappa = \frac{N \sum_{i=1}^{n} x_{ii} - \sum_{i=1}^{n} (x_{i+} \cdot x_{+i})}{N^2 - \sum_{i=1}^{n} (x_{i+} \cdot x_{+i})} κ=N2?∑i=1n?(xi+??x+i?)N∑i=1n?xii??∑i=1n?(xi+??x+i?)?
其中:
- xi+=∑j=1nxijx_{i+} = \sum_{j=1}^{n} x_{ij}xi+?=∑j=1n?xij?(行總數)
- x+i=∑j=1nxjix_{+i} = \sum_{j=1}^{n} x_{ji}x+i?=∑j=1n?xji?(列總數)
- NNN 為總像元數
解釋:
- κ=1\kappa = 1κ=1:完全一致
- κ=0\kappa = 0κ=0:與隨機分類一致
- 一般分類的 κ>0.75\kappa > 0.75κ>0.75 表示精度很好
總結表格
指標 | 公式 | 作用 |
---|---|---|
總體精度 OA | OA=∑xiiNOA = \frac{\sum x_{ii}}{N}OA=N∑xii?? | 衡量整體分類正確率 |
用戶精度 UA | UAi=xii∑jxijUA_i = \frac{x_{ii}}{\sum_j x_{ij}}UAi?=∑j?xij?xii?? | 地圖使用者視角,分類可靠度 |
生產者精度 PA | PAi=xii∑jxjiPA_i = \frac{x_{ii}}{\sum_j x_{ji}}PAi?=∑j?xji?xii?? | 分類器視角,識別能力 |
Kappa 系數 κ\kappaκ | κ=N∑xii?∑xi+x+iN2?∑xi+x+i\kappa = \frac{N\sum x_{ii} - \sum x_{i+}x_{+i}}{N^2 - \sum x_{i+}x_{+i}}κ=N2?∑xi+?x+i?N∑xii??∑xi+?x+i?? | 綜合精度指標,考慮隨機一致性 |