【Elasticsearch】快照生命周期管理 SLM(理論篇)

Elasticsearch 集群》系列,共包含以下文章:

  • 1?? 冷熱集群架構
  • 2?? 合適的鍋炒合適的菜:性能與成本平衡原理公式解析
  • 3?? ILM(Index Lifecycle Management)策略詳解
  • 4?? Elasticsearch 跨機房部署
  • 5?? 快照與恢復功能詳解
  • 6?? Elasticsearch 快照恢復 API 參數詳解
  • 7?? 安全地刪除快照倉庫、快照
  • 8?? 快照生命周期管理 SLM(理論篇)
  • 9?? 快照生命周期管理 SLM(實戰篇)
  • 🔟 跨集群檢索(Cross-Cluster Search)

😊 如果您覺得這篇文章有用 ?? 的話,請給博主一個一鍵三連 🚀🚀🚀 吧 (點贊 🧡、關注 💛、收藏 💚)!!!您的支持 💖💖💖 將激勵 🔥 博主輸出更多優質內容!!!

快照生命周期管理 SLM(理論篇)

  • 1.快照生命周期管理(SLM)
  • 2.索引生命周期管理(ILM)
  • 3.SLM 與 ILM 的核心區別
    • 3.1 管理目標不同
    • 3.2 操作對象不同
    • 3.3 策略驅動因素不同
    • 3.4 典型使用場景
  • 4.協同工作場景
  • 5.總結對比表

1.快照生命周期管理(SLM)

SLM(Snapshot Lifecycle Management)是 Elasticsearch 中 自動化管理索引快照的策略,用于定期創建集群快照、定義保留策略,確保災難恢復能力。

核心功能

  • 定時創建快照(如每天凌晨2點)
  • 自動清理舊快照(保留最近30天,刪除更早版本)
  • 跨倉庫管理(支持本地/云存儲如 AWS S3、Azure Blob)

提出背景

  • 手動備份低效:大規模集群需備份數百個索引,人工操作易遺漏。
  • 存儲成本失控:歷史快照堆積占用大量云存儲空間。
  • RTO / RPO 需求:業務要求明確恢復時間點(如最多丟失 1 小時數據)。

解決的問題

  • ? 自動化備份 → 減少人工干預
  • ? 精確保留策略 → 降低存儲成本
  • ? 保障可恢復性 → 滿足 SLA 要求

2.索引生命周期管理(ILM)

ILM(Index Lifecycle Management)是 Elasticsearch 中 自動化管理索引生命周期的策略,根據年齡、大小等條件將索引動態遷移到不同性能/成本的存儲層。

生命周期階段

階段操作典型配置
Hot高頻讀寫(SSD存儲)rollover(達 50GB 切新索引)
Warm低頻查詢(HDD存儲)shrink(減少分片數)
Cold極少訪問(低成本存儲)freeze(凍結索引)
Delete刪除過期數據delete(保留 30 天后刪除)

提出背景

  • 性能與成本矛盾:新索引需高性能(SSD),舊索引可存于廉價存儲。
  • 手動輪轉低效:人工遷移索引易出錯,尤其日志類應用(如 Filebeat 日增數百索引)。
  • 存儲優化需求:冷數據無需占用高價存儲資源。

解決的問題

  • ? 存儲分層優化 → 降低硬件成本
  • ? 自動索引輪轉 → 提升集群穩定性
  • ? 資源按需分配 → 平衡性能與成本

3.SLM 與 ILM 的核心區別

3.1 管理目標不同

維度SLMILM
焦點數據備份與恢復(快照副本)索引存儲優化(原始數據分層)
本質災備機制資源調度機制

3.2 操作對象不同

類型SLMILM
操作目標集群快照(.snapshot 文件)原始索引(如 logs-2023-10-01-000001
存儲位置外部倉庫(S3 / HDFS / NFS)集群內部節點(Hot / Warm / Cold 數據節點)

3.3 策略驅動因素不同

策略類型SLMILM
觸發條件時間計劃(Cron 表達式)索引年齡 / 大小 / 文檔數
關鍵動作create_snapshotdelete_snapshotrollovershrinkfreezedelete

3.4 典型使用場景

場景SLM 示例ILM 示例
日志管理每日備份所有索引到 S37 天內日志存 Hot 節點(SSD),30 天后刪除
安全合規保留審計日志快照 5 年合規數據在 Cold 階段保留 1 年后刪除

4.協同工作場景

兩者通常配合使用以實現完整數據治理:

  • ILM 管理在線數據
    新索引寫入
    Hot Phase
    Warm Phase?
    遷移到HDD
    Cold Phase?
    遷移到對象存儲
    Delete Phase?
    刪除索引
  • SLM 管理離線備份
    過期
    觸發定時任務
    創建快照到S3
    保留策略檢查
    刪除舊快照

協同價值

  • ILM 刪除原始索引后,SLM 仍保留其快照(滿足長期歸檔需求)。
  • 恢復時:先從 SLM 快照還原,再由 ILM 自動分配到合適存儲層。

5.總結對比表

特性SLMILM
英文全稱Snapshot Lifecycle ManagementIndex Lifecycle Management
核心目標數據備份與恢復索引存儲分層與優化
操作對象集群快照(副本)原始索引(數據本身)
關鍵操作創建 / 刪除快照Rollover / Shrink / Freeze / Delete
存儲位置外部倉庫(如 S3)集群內部節點(Hot / Warm / Cold)
Elasticsearch APIPUT _slm/policy/daily_backupsPUT _ilm/policy/logs_policy

? 一句話區分

  • ILM 管理 “活數據”(在線索引如何存儲和遷移),SLM 管理 “數據備份”(如何保存和恢復快照)。
  • 協同關系:ILM 負責數據的 “生老病死”,SLM 負責 “拍遺照留念” 以備恢復。

兩者共同構成 Elasticsearch 數據治理的核心框架,建議在大型生產環境中配合使用。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/90443.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/90443.shtml
英文地址,請注明出處:http://en.pswp.cn/web/90443.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

深入理解 UDP 協議:從原理到實戰的技術解析

UDP(User Datagram Protocol,用戶數據報協議)作為 TCP 的 "輕量型伙伴",在實時通信、流媒體傳輸等場景中發揮著不可替代的作用。與 TCP 的可靠傳輸不同,UDP 以 "簡單、快速、無連接" 為設計理念&a…

c語言-數據結構-沿順相同樹解決對稱二叉樹問題的兩種思路

二叉樹OJ前言對稱二叉樹前言 本篇繼續講解二叉樹OJ題目之對稱二叉樹 對稱二叉樹 題目鏈接:https://leetcode.cn/problems/symmetric-tree/description/ 該題要求比較這棵樹是否對稱,對稱,指的是結構對稱并且值也要對稱,即對應…

云原生可觀測-日志觀測(Loki)最佳實踐

一、Loki 簡介 云原生可觀測三大支柱 支柱工具用途MetricsPrometheus性能趨勢、系統負載LogsLoki原始事件記錄、錯誤診斷TracesTempo / Jaeger分布式鏈路追蹤 一、Loki 簡介 1.1 Loki 是什么 Loki 是由 Grafana Labs 開發的 日志聚合系統,與 Prometheus 架構一…

Windows Server 2003 R2系統C盤擴容教程

一、PAGreen軟件下載 下載地址: ExtPart.zip https://pan.baidu.com/s/1FxK61XNI0t-4JIEWK1QA8Q?pwd8888 提取碼: 8888 二、將軟件解壓縮 (1)、執行步驟一下載的程序 雙擊下圖所示可執行程序 (2)、選擇好解壓路徑,點擊「Unzip」進行解壓縮 (3)、磁…

Kubernetes配置管理

目錄什么是ConfigMap創建ConfigMap1:基于目錄創建ConfigMap1.創建conf目錄,放置文件2.基于目錄下的所有文件創建ConfigMap3.查看當前創建的ConfigMap2:基于文件創建ConfigMap1.單個文件創建ConfigMap2.使用帶有key的命令創建ConfigMap3.多個文…

golang怎么實現每秒100萬個請求(QPS),相關系統架構設計詳解

一.需求 使用Golang,以Gin框架為基礎,設計一個能夠處理每秒100萬請求(QPS 1M)的系統架構 注意:100萬QPS是一個很高的數字,單機通常難以處理,所以必須采用分布式架構,并且需要多層次的架構設計和優化 二.搭建步驟 1.系統架構設計 為了實現高并發,需要考慮以下幾個方面…

HCIA再復習

第一章.網絡基礎1.1 網絡類型分類網絡按照二層鏈路類型分為以下四種:多點接入網絡(MA):1,廣播型多點接入(BMA):如以太網,支持廣播,設備通過MAC地址通信&#…

Qt 數據庫連接池實現與管理

在 Qt 應用程序中,頻繁創建和銷毀數據庫連接會帶來顯著的性能開銷。數據庫連接池通過復用現有連接,避免重復創建和銷毀連接的開銷,從而提高應用程序的響應速度和吞吐量。本文將詳細介紹 Qt 中數據庫連接池的實現與管理方法。 一、數據庫連接池…

數據采集分析:從信息洪流中掘金的科學與藝術

——如何將原始數據轉化為商業決策的黃金?🌐 引言:我們正淹沒在數據的海洋,卻渴求著知識的甘泉每天全球產生 2.5萬億字節 數據(相當于每秒下載4.5萬部高清電影),但未經分析的數據如同未提煉的原…

Oracle國產化替代:一線DBA的技術決策突圍戰

從“如履薄冰”到“游刃有余”,中國數據庫的自主之路正重塑技術人的思維地圖。 “凌晨三點的最后一次數據校驗通過,割接系統綠燈全亮——**河北移動核心賬務系統的Oracle數據庫已被GoldenDB完全替代**。”2025年6月底,這場持續兩年的攻堅戰畫上句號。當全省業務流量平穩切…

OS19.【Linux】進程狀態(1)

目錄 1.情景引入 2.操作系統學科對進程狀態的分類 運行狀態 基于時間片的輪轉調度算法 阻塞狀態 等待IO設備的例子 等待其他進程中需要獲取的數據 進程喚醒 掛起狀態(全稱為阻塞掛起狀態) 簡單談談虛擬內存管理 就緒狀態 筆面試題 3.Linux對進程狀態的分類 R和S狀…

Hadoop小文件合并技術深度解析:HAR文件歸檔、存儲代價與索引結構

HDFS小文件問題的背景與挑戰在Hadoop分布式文件系統(HDFS)的設計哲學中,"大文件、流式訪問"是核心原則。然而現實場景中,海量小文件(通常指遠小于HDFS默認塊大小128MB的文件)的涌入卻成為系統性能…

Verilog 提取信號的上升沿或者下降沿

上升沿提取代碼&#xff1a;reg [1:0] F1;always (posedge clk)beginif(rst_n 1b0) F1[1:0]<2b00;else F1[1:0]<{F1[0],start_i};endwire start_l2h (F1[1:0]2b01)?1b1:1b0;下降沿提取代碼&#xff1a;reg [1:0] F1;always (posedge clk)b…

.Net core 部署到IIS出現500.19Internal Server Error 解決方法

.Net core 部署到IIS&#xff0c;網頁出現500.19Internal Server Error 解決方法解決方法 在URL:https://dotnet.microsoft.com/zh-tw/download/dotnet/8.0下載并安裝dotnet-hosting-8.0.18-win.exe 重啟IIS服務器

Linux 基本命令整理

&#x1f427; Linux 基本命令整理 為了方便初學者快速掌握 Linux 常用命令&#xff0c;以下是經過分類整理的核心命令及用法說明。 &#x1f4c2; 目錄操作與文件管理 pwd 核心功能&#xff1a;打印當前工作目錄的絕對路徑&#xff0c;明確用戶所在位置。 實操示例&#x…

牛客周賽 Round 101(題解的token計算, 76修地鐵 ,76選數,76構造,qcjj寄快遞,冪中冪plus)

A題解的token計算要記住c中的對數函數&#xff1a;log(n) 是自然對數&#xff08;以e為底&#xff09;ln(nlog10(n) 是以10為底的對log1p(n) 是ln(1n)&#xff0c;提供更高的數值精log2(n) 是以2為底的對logl(n) 和 log10l(n) 是long double版#define _CRT_SECURE_NO_WARNINGS …

商場導航軟件:3D+AI 基于Deepseek 模型的意圖識別技術解析

本文面向室內導航工程師、商場導航系統優化師及LBS 應用開發的技術員&#xff0c;解析商場室內導航系統 3DAI 三大核心技術模塊&#xff0c;并提供可直接復用的工程解決方案。如需獲取商場導航系統技術方案可前往文章最下方獲取&#xff0c;如有項目合作及技術交流歡迎私信作者…

借助Aspose.HTML控件,使用 Python 編程將網頁轉換為 PDF

使用 Python 將網頁轉換為 PDF 有時您需要離線訪問網頁&#xff0c;使其更易于訪問。因此&#xff0c;將HTML頁面轉換為PDF即可滿足您的需求。令人驚訝的是&#xff0c;您可以在幾秒鐘內在 Python 項目中啟用 HTML 到 PDF 的轉換。本指南將為 Python 開發人員介紹一個功能強大…

數據結構:找出字符串中重復的字符(Finding Duplicates in a String)——使用位運算

目錄 預備知識 左移運算&#xff08;<<&#xff09; 位運算 一、從最樸素的方法開始 二、如果只關心“有沒有出現過”&#xff0c;不關心“次數”&#xff0c;還能不能更省&#xff1f; 三、有沒有一種更“緊湊”的方式表示26個開關&#xff1f; 四、用一個整數的…

DevOps 完整實現指南:從理論到實踐

DevOps 是一種集軟件開發&#xff08;Dev&#xff09;與 IT 運維&#xff08;Ops&#xff09;于一體的文化、實踐和工具鏈&#xff0c;旨在通過自動化流程、持續集成/持續交付&#xff08;CI/CD&#xff09;、基礎設施即代碼&#xff08;IaC&#xff09;和跨團隊協作&#xff0…