Elasticsearch創建索引分片和副本大小建議

在Elasticsearch中,?分片(shard)和副本(replica)? 的設置直接影響集群性能、容錯能力和擴展性。以下是最佳實踐指南:


核心概念

?類型??描述??是否可修改?
?主分片(Primary Shard)?數據的最小存儲單元,每個索引被拆分成多個主分片? 索引創建后不可修改
?副本分片(Replica Shard)?主分片的完整拷貝,提供數據冗余和讀取負載均衡? 隨時動態調整

配置原則

1. 分片數設置規則
  • ?黃金法則?:每個分片大小控制在 ?10-50GB? 之間
  • ?計算公式?:
    主分片數 = 總數據量 / 單分片容量(建議30GB)
    例如:1TB數據 → 1000GB / 30GB ≈ 33個分片
  • ?最大限制?:
    單個節點建議不超過 ?20-25個分片/GB堆內存?
    (如32GB內存節點,最多600-800個分片)
2. 副本數設置規則
?場景??推薦副本數??說明?
開發/測試環境0-1節省資源
生產環境(常規)1-2平衡冗余和存儲成本
高可用關鍵業務2-3允許同時宕機2個節點
海量讀取場景3-5提升查詢吞吐量

配置示例

創建索引時指定(關鍵步驟!)

PUT /your_index { "settings": { "number_of_shards": 5, // 主分片數 "number_of_replicas": 2 // 每個主分片的副本數 } }

動態調整副本數(無需停機)

PUT /your_index/_settings { "index.number_of_replicas": 1 }


高級優化策略

  1. ?熱溫架構(Hot-Warm)?

    { "index.routing.allocation.require.data_type": "hot" // 熱節點存放新數據 }

  2. ?分片自動平衡?

    # elasticsearch.yml cluster.routing.allocation.balance.shard: 0.3 # 分片均衡因子(默認0.45)

  3. ?分片分布約束?

    PUT _cluster/settings { "persistent": { "cluster.routing.allocation.awareness.attributes": "rack_id" } }


監控與診斷命令

  1. 查看分片分布:

    GET _cat/allocation?v&s=node

  2. 定位大分片:

    GET _cat/indices/*?v&h=index,pri,rep,shards,store.size&s=store.size:desc

  3. 分片移動記錄:

    GET _cat/recovery?active_only=true


常見問題解決方案

?問題1:分片過大(>50GB)?
👉 解決方案:

  • 創建新索引時增加主分片數
  • 使用Reindex API拆分數據

?問題2:節點間分片不均衡?
👉 解決方案:

PUT _cluster/settings { "transient": { "cluster.routing.rebalance.enable": "all" } }

?問題3:副本同步延遲?
👉 優化方案:

  • 增加index.translog.sync_interval
  • 升級硬件(SSD提升IOPS)

分片容量計算器(示例)

?預估數據量??數據增長率??節點數??推薦分片數??推薦副本數?
500GB低(5%/月)310-151-2
5TB中(10%/月)8100-1502-3
50TB高(20%/月)20+500+2-3

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/95440.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/95440.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/95440.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

“人工智能+虛擬仿真”開啟新學期智慧學習之旅

在教育領域掀起數字化革新浪潮的今天,新學期的開啟不僅意味著知識探索新征程的起步,更蘊含著教育模式深度變革的無限可能。虛擬仿真技術作為教育現代化的關鍵驅動力,正重塑學習體驗,引領教育范式轉移。人工智能與虛擬仿真技術的結…

Photoshop用戶必看:讓你的PSD像JPG一樣可預覽

軟件介紹 Photoshop縮略圖補丁插件3.8.0.96是一款實用的工具,它能夠將PSD格式的文件(Photoshop的專用格式)以縮略圖的形式顯示出來。這一功能極大地提升了用戶在管理和查找圖像文件時的效率,使得看圖、找圖變得更加輕松便捷。該插…

idea2025.1.5安裝+pj

寫在前邊:如果是卸載舊版本IDEA重裝,一定記得之前的插件啥的,截個圖。還有主題字體設置啥的 目錄背景原因卸載原來版本安裝教程背景原因 原來的2022.2不支持jdk21的語言版本 卸載原來版本 1、如何徹底卸載 IDE, 可參考這篇的文章&#xff…

(四)Python控制結構(條件結構)

程序中的語句默認會按照自上而下的順序逐條執行,但通過一些特定的語句可以更改語句的執行順序,使之產生跳躍、回溯等現象,進而靈活地控制程序的執行流程。控制結構是編程中用于控制程序執行流程的語句,程序的三種基本控制結構為&a…

血緣元數據采集開放標準:OpenLineage Guides 使用 Apache Airflow? 和 OpenLineage + Marquez 入門

OpenLineage 是一個用于元數據和血緣采集的開放標準,專為在作業運行時動態采集數據而設計。它通過統一的命名策略定義了由作業(Job)、運行實例(Run)和數據集(Dataset) 組成的通用模型&#xff0…

FPGA|Quartus II 中使用TCL文件進行引腳一鍵分配

在FPGA設計過程中,合理的引腳分配是確保硬件功能正確實現的關鍵步驟之一。Quartus II 提供了通過 TCL(Tool Command Language)腳本自動化引腳分配的功能,這不僅可以大大提高設計效率,還能夠確保引腳分配的精確性和可重…

【Docker/Redis】服務端高并發分布式結構演進之路

目錄 概述 常見概念 基本概念 應用(Application)/ 系統(System) 模塊(Module)/ 組件(Component) 分布式(Distributed) 集群(Cluster&#x…

【Excel】將一個單元格內??的多行文本,??拆分成多個單元格,每個單元格一行??

??所有文本都堆積在“prefix”列頂部的同一個單元格里(很可能是B10單元格),并且它們是用空格分隔的,而不是換行符。??因此,您不需要處理換行符,而是需要??按“空格”進行分列,并且將分列后…

新手SEO操作第一步

內容概要 網站優化對于新手而言,常常感覺無從下手。別擔心,這篇文章就是為你量身打造的入門指南。我們將從最基礎也是最重要的關鍵詞研究開始講起,手把手教你如何精準找到目標用戶搜索的詞。掌握了關鍵詞,接下來就是如何創作出搜索…

【高階數據結構】秘法(一)——并查集:探索如何高效地管理集合

前言: 前面我們已經學習了簡單的數據結構,包括棧與隊列、二叉樹、紅黑樹等等,今天我們繼續數據結構的學習,但是難度上會逐漸增大,在高階數據結構中我們要學習的重點是圖等 目錄 一、并查集的原理 二、并查集的基本操作…

spring boot 整合AI教程

1、pom.xml配置<?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4…

基于SpringBoot2+Vue2開發的儲物柜管理系統

角色 管理員&#xff1a;管理系統、用戶&#xff0c;管理儲物柜用戶&#xff1a;借用、歸還儲物柜&#xff0c;報修故障 技術棧 后端&#xff1a;Springboot2, JWT, PageHelper前端&#xff1a;Vue2數據庫&#xff1a;MySQL 核心功能 提供智能儲物柜管理&#xff0c;包括用戶注…

uniapp中輸入金額的過濾(只允許輸入數字和小數點)

一、完整代碼&#xff1a; <template><view class"numberIndex" :style"{ paddingTop: navbarHeight px }"><view class"custom-navbar" :style"{ paddingTop: statusBarHeight px }"><view class"navbar…

系統科學核心概念辨析及其在人工智能領域的應用研究:一個整合性分析框架

摘要&#xff1a;本文旨在系統性地梳理和辨析系統科學中的核心概念——結構、功能與層級。文章首先追溯系統思想的理論源流&#xff0c;確立其作為一種超越還原論的整體性研究范式。在此基礎上&#xff0c;深度剖析系統結構的內在構成&#xff08;組分、框架、動態性&#xff0…

Ubuntu環境下刪除Docker鏡像與容器、配置靜態IP地址

刪除Docker鏡像與容器刪除容器&#xff1a;要刪除特定的Docker容器&#xff0c;首先需要停止該容器&#xff1a;docker stop <container_id_or_name>然后可以使用以下命令刪除它&#xff1a;docker rm <container_id_or_name>如果要強制刪除正在運行的容器&#xf…

零樣本視覺模型(DINOv3)

DINOv3是Meta于2025年8月14日發布的第三代自監督視覺基礎模型&#xff0c;通過17億張無標注圖像訓練&#xff0c;參數規模最大達70億&#xff0c;首次在密集預測任務中全面超越弱監督模型&#xff0c;成為計算機視覺領域的里程碑。其核心突破在于無需人工標注即可生成高分辨率密…

【機器學習入門】5.2 回歸的起源——從身高遺傳到線性模型的百年演變

提到 “回歸”&#xff0c;很多剛入門的同學會覺得它是個抽象的數學概念&#xff0c;但你可能想不到&#xff0c;這個術語的誕生&#xff0c;竟然源于 19 世紀一位生物學家對 “身高遺傳” 的研究。回歸分析從 “觀察生物現象” 出發&#xff0c;逐步發展成機器學習中預測連續值…

輕型載貨汽車變速器設計cad+設計說明書

摘 要 變速器是汽車重要的傳動系組成&#xff0c;在較大范圍內改變汽車行駛速度的大小和汽車驅動輪上扭矩的大小。變速器能在發動機旋轉方向不變的前提下&#xff0c;使汽車倒退行駛&#xff0c;而且利用擋位可以中斷動力的傳遞。所以變速器的結構設計的合理性直接影響到汽車動…

如何對嵌入式軟件進行單元測試

ceedling就是一款嵌入式軟件測試框架。ceedling是一個用ruby語言編寫的C語言自動化測試框架&#xff0c;它集成了Cmock、Unity和Cexception等多個開源項目。在整個ceedling框架中&#xff0c;使用unity進行代碼測試&#xff0c;使用CMock生成模擬函數&#xff0c;使用CExceptio…

通義萬相Wan2.2-S2V-14B:AI視頻生成的革命性突破與實踐指南

一張圖片+一段音頻=電影級數字人視頻?這不是魔法,是開源AI技術帶來的現實。 近日,阿里巴巴通義萬相團隊開源了Wan2.2-S2V-14B模型,僅在短短幾天內就引發了AI視頻生成領域的震動。這個僅需**一張靜態圖片**和**一段音頻**就能生成影視級質量視頻的模型,正在改變我們對AI視…