項目場景：

在一個使用Varnish作為反向代理的Web應用中，我們依賴CDN（內容分發網絡）來緩存靜態資源（如圖片、CSS、JavaScript文件等），以提高全球用戶的訪問速度并減輕源站服務器的負載。然而，在實際運行中，我們遇到了一個問題：CDN緩存的靜態資源全部一直回源，導致源站服務器負載過高，響應時間延長，用戶體驗下降。

問題描述：

癥狀表現

• 高源站流量: 監控數據顯示源站接收到大量本應由CDN處理的請求。
• 低緩存命中率: CDN平臺中顯示靜態資源的緩存命中率遠低于預期。
• 響應時間延長: 用戶體驗到比預期更長的頁面加載時間。
• Via 頭部異常: 在響應頭中發現了額外的 Via 信息，例如 1.1 yjcm-varnish-0 (Varnish/7.6), cache14.l2et135-6[2,0]，這可能是導致CDN失效的原因之一。

產生影響

這些癥狀直接影響了用戶體驗和網站性能，增加了服務器負載，當時LB帶寬幾乎要達到上限。隨著系統響應時間逐漸變慢，用戶體驗急劇下降。因此，解決這個問題對于提升網站的整體性能至關重要。

原因分析：

經過詳細的日志分析和技術排查，我們確定以下因素可能導致了上述問題：

1. Via 頭部的影響:

• 標準的 Via 響應頭用于標識請求經過的代理服務器鏈。如果Varnish保留或添加了這個頭部，某些CDN可能會誤判請求路徑，進而影響緩存決策。
• 特別是當 Via 頭部包含多個代理服務器的信息時，可能會使CDN認為每個請求都是唯一的，從而阻止了緩存的有效利用。

2. 自定義VCL邏輯:

• 如果Varnish配置中有特定的邏輯來決定何時緩存內容或如何處理請求，這些邏輯可能會與CDN的預期行為相沖突，導致緩存策略不再適用。

3. Cookie處理:

• 默認情況下，如果請求包含 Cookie 頭部，Varnish通常不會緩存該請求。這可能導致靜態資源因為會話信息而被視為獨特的，從而繞過了緩存。

4. 緩存控制頭部不一致:

• Varnish可能修改了來自后端服務器或CDN的關鍵HTTP頭部信息（如 Cache-Control, Expires），導致CDN認為這些資源不應該被緩存。

解決方案：

為了解決這些問題，我們采取了一系列措施，確保Varnish與CDN之間順暢協作，最大化緩存效率并提升整體網站性能。同時，我們也針對系統性能進行了優化，以改善響應時間。

1. 修改 vcl_deliver 子程序

通過調整 vcl_deliver 子程序，可以實現更清晰的緩存狀態指示，并避免不必要的頭部沖突：

# 交付子程序 (vcl_deliver)
sub vcl_deliver {# 顯示緩存命中/未命中信息# 這個邏輯用于在響應頭中添加一個自定義的頭部 X-Varnish-Cache，# 以便后續可以通過這個頭部判斷請求是否被緩存命中。if (obj.hits > 0) {set resp.http.X-Varnish-Cache = "hit";  # 如果緩存命中（即該對象已被緩存并再次訪問），則設置 X-Varnish-Cache 為 hit} else {set resp.http.X-Varnish-Cache = "miss";  # 如果緩存未命中（即該對象是第一次訪問或緩存已過期），則設置 X-Varnish-Cache 為 miss}# 將 Via 頭的內容復制到 X-Varnish-Via 頭# Via 是一個標準的HTTP頭部，用來標識請求經過的代理服務器鏈。# 為了避免影響CDN對緩存決策的理解，我們將原始的 Via 頭內容復制到一個新的頭部 X-Varnish-Via，# 并刪除原來的 Via 頭，確保CDN不會因為額外的代理信息而誤判請求路徑。if (resp.http.Via) {set resp.http.X-Varnish-Via = resp.http.Via;  # 將原始 Via 頭內容復制到新的 X-Varnish-Via 頭unset resp.http.Via;  # 刪除原來的 Via 頭，避免干擾CDN的緩存決策}
}

解釋:

• 顯示緩存狀態: 通過添加 X-Varnish-Cache 響應頭，提供了關于緩存命中的明確指示，這對于調試和理解緩存行為非常有用。
• 清理 Via 頭: Via 頭通常用于標識請求經過的代理服務器鏈。將其內容復制到 X-Varnish-Via 并刪除原始 Via 頭，可以幫助減少混淆，并確保CDN能夠正確解析響應。

2. 同步緩存控制頭部

確保Varnish不會覆蓋或修改來自后端服務器或CDN的關鍵緩存控制頭部，如 Cache-Control 和 Expires。可以通過以下方式同步這些頭部：

sub vcl_backend_response {# 同步 Cache-Control 和 Expires 頭部if (beresp.http.Cache-Control && beresp.http.Expires) {set beresp.http.Cache-Control = beresp.http.Cache-Control;set beresp.http.Expires = beresp.http.Expires;}
}

3. 確保緩存一致性

確保Varnish和CDN之間的緩存策略一致，特別是對于靜態資源的緩存控制頭部：

• 標準化響應頭部: 保持所有響應頭部的一致性，有助于維持整個系統的穩定性和性能。
• 檢查緩存標簽: 確認Varnish和CDN都支持并正確處理緩存標簽（如 ETag, Last-Modified）。

4. 測試與驗證

• 測試清除效果: 在非生產環境中進行更改前，先在一個小范圍內測試，確保不會對用戶體驗產生負面影響。
• 監控性能變化: 使用性能監控工具來跟蹤實施更改后的性能指標，確保問題得到解決且沒有引入新的問題。

結論

通過精心調整Varnish配置并遵循最佳實踐，我們可以確保Varnish與CDN之間順暢協作，最大化緩存效率并提升整體網站性能。希望這篇文章能為你和其他開發者提供有價值的參考，幫助解決類似的緩存失效問題。如果有更多復雜的需求或疑問，建議參考官方文檔或尋求專業支持。