AWS S3 介紹
AWS S3（Amazon Simple Storage Service）是一種可擴展的對象存儲服務，提供高可用性、持久性和安全性。它允許用戶存儲和檢索任意數量的數據，并通過簡單的 Web 服務接口訪問這些數據。S3 支持多種存儲類別，包括標準存儲、智能分層存儲、不頻繁訪問存儲和歸檔存儲，以滿足不同的性能和成本需求。此外，S3 還提供豐富的功能，如版本控制、生命周期管理、數據加密和跨區域復制，幫助用戶管理和保護數據。其高度可擴展性和靈活性使其成為企業和開發者的理想選擇，廣泛應用于備份、存檔、大數據分析和內容分發等場景。
觀測云
觀測云是一款專為 IT 工程師打造的全鏈路可觀測產品，它集成了基礎設施監控、應用程序性能監控和日志管理，為整個技術棧提供實時可觀察性。這款產品能夠幫助工程師全面了解端到端的用戶體驗追蹤，了解應用內函數的每一次調用，以及全面監控云時代的基礎設施。此外，觀測云還具備快速發現系統安全風險的能力，為數字化時代提供安全保障。
部署 DataKit
DataKit 是一個開源的、跨平臺的數據收集和監控工具，由觀測云開發并維護。它旨在幫助用戶收集、處理和分析各種數據源，如日志、指標和事件，以便進行有效的監控和故障排查。DataKit 支持多種數據輸入和輸出格式，可以輕松集成到現有的監控系統中。
登錄觀測云控制臺，在「集成」 - 「DataKit」選擇對應安裝方式，當前采用 Linux 主機部署 DataKit。
數據采集
- 登陸觀測云控制臺
- 點擊【集成】菜單，選擇【云賬號管理】
- 點擊【添加云賬號】，選擇【AWS】，填寫界面所需的信息，如之前已配置過云賬號信息，則忽略此步驟
- 點擊【測試】，測試成功后點擊【保存】，如果測試失敗，請檢查相關配置信息是否正確，并重新測試
- 點擊【云賬號管理】列表上可以看到已添加的云賬號，點擊相應的云賬號，進入詳情頁
- 點擊云賬號詳情頁的【集成】按鈕，在未安裝列表下，找到 AWS S3，點擊【安裝】按鈕，彈出安裝界面安裝即可
關鍵指標
| 指標名稱 | 描述 | 單位 |
|---|---|---|
| 5xxErrors | 服務器端錯誤的請求數量。這些錯誤通常是由S3服務端問題引起的，例如內部服務器錯誤（500）、服務不可用（503）等。 | 計數（Count） |
| AllRequests | 所有請求的總數，包括成功請求和失敗請求。這個指標可以用來監控S3存儲桶的整體請求負載。 | 計數（Count） |
| BucketSizeBytes | 存儲桶中所有對象的總大小。這個指標可以用來監控存儲桶的存儲使用情況。 | 字節（Bytes） |
| BytesDownloaded | 從S3存儲桶中下載的數據量。這個指標可以用來監控數據的讀取量。 | 字節（Bytes） |
| BytesUploaded | 上傳到S3存儲桶的數據量。這個指標可以用來監控數據的寫入量。 | 字節（Bytes） |
| FirstByteLatency | 從請求開始到第一個字節返回的時間。這個指標可以用來衡量S3的響應速度。 | 毫秒（Milliseconds） |
| GetRequests | 對S3存儲桶中對象的GET請求的次數。這個指標可以用來監控對象的下載請求量。 | 計數（Count） |
| HeadRequests | 對S3存儲桶中對象的HEAD請求的次數。HEAD請求通常用于獲取對象的元數據而不下載對象本身。 | 計數（Count） |
| ListRequests | 對S3存儲桶中對象列表的請求次數。這個指標可以用來監控對存儲桶中對象列表的查詢操作。 | 計數（Count） |
| NumberOfObjects | 存儲桶中對象的數量。這個指標可以用來監控存儲桶中對象的總數。 | 計數（Count） |
| PutRequests | 對S3存儲桶中對象的PUT請求的次數。PUT請求通常用于上傳新對象或覆蓋現有對象。 | 計數（Count） |
| TotalRequestLatency | 所有請求的總延遲時間。這個指標可以用來衡量S3處理請求的整體性能。 | 毫秒（Milliseconds） |
場景視圖
登錄觀測云控制臺，點擊「場景」 -「新建儀表板」，輸入 “AWS S3”， 選擇 “AWS S3 監控視圖”，點擊 “確定” 即可添加視圖。
S3 bucket 列表可以查看對應區域 S3 bucket 開通信息
請求指標主要是包含 S3 對象數據被外部訪問的請求相關指標
監控器（告警）
觀測云內置了監控器模板，可以選擇從模版創建監控器，并開啟適合業務的監控器以及時通知相關成員關注問題，觸發條件、頻率等信息可以依據實際業務進行調整。
登錄觀測云控制臺，點擊「監控」 -「新建監控器」，輸入 “AWS S3”， 選擇對應的監控器，點擊 “確定” 即可添加。
AWS S3 HTTP 請求量存在突增突降異常
總結
通過將 AWS S3 的原生監控數據集成到觀測云平臺，用戶可以實現對 S3 存儲桶的實時性能監控、資源使用分析以及安全事件的可視化。觀測云的高級分析和可視化功能，如實時儀表板、智能告警和根因分析，能夠幫助用戶快速定位問題、優化成本，并確保數據的高可用性和安全性。這種結合不僅提升了監控的效率和準確性，還通過集中管理的方式簡化了運維流程，使用戶能夠更好地應對復雜的云環境挑戰。
