這兩張圖表（圖17左、右圖）是CLIP論文中驗證“數據重疊是否影響CLIP零樣本能力”的關鍵證據，核心是通過**“數據重疊分析”排除CLIP“作弊”嫌疑**（即CLIP的高零樣本準確率是否因為“見過測試集圖像”）。下面用“先看懂圖表結構→再理解核心邏輯”的方式，一步步教你如何看這兩張圖：
一、先明確圖表要回答的核心問題
這兩張圖本質是在回答一個關鍵質疑：
“CLIP的零樣本準確率高，是不是因為測試集中的圖像和CLIP預訓練時見過的圖像重復（數據重疊），所以模型只是‘記住了答案’，而非真正理解語義？”
圖表通過對比“包含重疊數據的測試集”和“純干凈數據（無重疊）”上的準確率差異，證明“數據重疊不是CLIP零樣本能力的主因”，讓CLIP的零樣本優勢更可信。
二、左圖（柱狀圖）：數據重疊與準確率差異的關系
1. 坐標軸含義
- 橫軸（X軸）：
Detected Data Overlap (%)（檢測到的重疊數據比例）——測試集中“被檢測出與CLIP預訓練數據重疊的圖像占比（如5%表示測試集中5%的圖像是CLIP預訓練時見過的）。 - 縱軸（Y軸）：
Difference in Zero-shot Accuracy (%)（零樣本準確率差異，%）——即“包含重疊數據的測試集準確率”減去“純干凈數據（無重疊）的準確率”的差值（正值表示重疊數據讓準確率提升，負值表示下降）。
2. 如何看數據點和誤差線
- 每個柱狀圖代表一個數據集（如CIFAR-100、SUN397等），柱狀圖的高度是“重疊數據vs干凈數據的準確率差值”，誤差線（黑色豎線）表示這個差值的統計置信區間（誤差線越短，結果越可靠）。
- 核心觀察點：
- 多數數據集的柱狀圖高度集中在0值附近（即準確率差異接近0%），且誤差線（黑色豎線）幾乎都包含0值（即“準確率差異在統計上不顯著”），例如左圖中間的
CIFAR-100“誤差線橫跨0值”，說明“重疊數據對準確率的影響在統計上可忽略”。 - 少數數據集（如CIFAR-100、SUN397）出現±10%以內的差異，但誤差線較寬（如Kinetics-700的誤差線跨-20%到+10%），證明這些差異可能是“隨機波動”，而非“數據重疊導致的真實提升”。
- 多數數據集的柱狀圖高度集中在0值附近（即準確率差異接近0%），且誤差線（黑色豎線）幾乎都包含0值（即“準確率差異在統計上不顯著”），例如左圖中間的
三、右圖（散點圖）：數據重疊對整體準確率的貢獻可忽略
- 橫軸（X軸）：
Detected Data Overlap (%)（檢測到的重疊數據比例，即測試集中與CLIP預訓練數據重疊的圖像占比，多數在10%以內，即“單 digits”——論文提到“single digits”，即重疊比例極低，多為個位數百分比）。 - 縱軸（Y軸）：
Overall Test Accuracy Gain Due to Overlap (%)（因數據重疊導致的整體測試準確率提升百分比）——即“包含重疊數據時的準確率”比“純干凈數據”高多少（正值表示提升，負值表示下降）。
關鍵細節：
- 顏色與顯著性：
- 紅色點（p<0.05）：表示“數據重疊對準確率的影響在統計上顯著（即提升或下降不是偶然），但這樣的點極少（僅3-4個），且提升幅度最大僅0.5%（如Birdsnap數據集，縱軸約0.5%），證明即使有重疊，對整體準確率的提升也微乎其微。
- 綠色點（p>0.05）：多數點是綠色，表示“數據重疊對準確率的影響在統計上不顯著”（即提升或下降可能是隨機波動，與重疊無關），且幾乎所有點的縱軸值接近0（±0.5%以內），證明數據重疊對整體測試準確率的貢獻可忽略不計（最高提升僅0.5%，遠不足以解釋CLIP的高零樣本準確率）。
四、核心結論：兩張圖共同證明CLIP的“清白”
- 左圖通過“準確率差異”證明：即使測試集與預訓練數據有少量重疊，CLIP的零樣本準確率也不會因“見過的圖像”而顯著提升（多數差異接近0）。
- 右圖通過“整體準確率增益”證明：數據重疊對CLIP整體測試準確率的提升最高僅0.5%（遠低于CLIP的70-90%零樣本準確率），因此CLIP的高準確率不可能是“記住了見過的圖像”，而是真正理解了語義。
總結：如何“看懂”這類科學圖表的通用邏輯
- 先看標題和坐標軸：明確圖表要回答的問題（如“數據重疊是否影響CLIP零樣本能力”），以及橫縱軸代表的變量（如“重疊比例”vs“準確率差異”）。
- 關注數據點的整體趨勢：多數點是否圍繞“0值”（無影響）或明顯偏離（有影響），誤差線是否包含0（無顯著差異）。
- 結合文字結論驗證：圖表下方的說明文字（如“Few statistically significant gains”）會總結核心結論，幫你確認理解（如“數據重疊對CLIP的零樣本能力影響可忽略”）。
這兩張圖表用數據證明了：CLIP的零樣本能力不是“記住了見過的圖像”，而是真正通過“圖像-文本語義對齊”學到了“理解概念”的能力——這才是CLIP被稱為“通用視覺模型”的根本原因：它不依賴“見過的圖像”，而是依賴“理解的語義”。
)
