Elasticsearch 深分頁限制與解決方案

最近在準備面試,正把平時積累的筆記、項目中遇到的問題與解決方案、對核心原理的理解,以及高頻業務場景的應對策略系統梳理一遍,既能加深記憶,也能讓知識體系更扎實,供大家參考,歡迎討論。

在項目中遇到一個問題:之前同事在導出所有 IM 消息時,直接用 分頁查詢(from + size) 拉全量數據,當數據加起來超過1萬條后,Elasticsearch 報錯:

Result window is too large, from + size must be less than or equal to: [10000] but was [11000].
See the scroll api for a more efficient way to request large data sets.

這就是 ES 默認的 深分頁限制 導致的。

一、問題原因

Elasticsearch 默認的 index.max_result_window 設置為 10000。

查詢時,如果 from + size > 10000,就會報錯。注意是 from + size 一起不能超過10000條。

默認分頁只適合小數據量查詢,不適合一次性拉取所有數據。

二、解決方案

1. 臨時調整 index.max_result_window

通過修改索引配置提高限制,例如:

PUT 索引名稱/_settings?preserve_existing=true
{
“index.max_result_window”: “50000”
}

?? 這種方式會增加 ES 的內存和 CPU 消耗,不建議無限放大。

2. 調整java代碼使用 Scroll API

適合批量拉取大量數據,特點:

返回的是快照數據,不隨實時更新。

用完要清理 scroll 上下文。

更適合離線導出、批處理。

三、經驗總結

分頁查詢(from+size)只適合小數據量場景,不適合全量查詢。

大數據導出 → Scroll API

實時分頁展示 → Search After

特殊情況 → 調整 index.max_result_window(需謹慎)。

? 這次踩坑,就是因為用分頁直接查全量數據,超過了 ES 的默認限制。后續我們改用 Scroll API,順利解決。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/95607.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/95607.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/95607.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

基于偏最小二乘法PLS多輸入單輸出的回歸預測【MATLAB】

基于偏最小二乘法(PLS)多輸入單輸出的回歸預測【MATLAB】 在科學研究和工程實踐中,我們常常需要根據多個相關變量來預測一個關鍵結果。例如,根據氣溫、濕度、風速等多個氣象因素預測空氣質量指數,或根據多種原材料成分…

SQL Server核心架構深度解析

SQL Server 的體系結構是一個復雜但設計精密的系統,主要可以分為四大核心組件,它們協同工作以管理數據庫、處理查詢、確保數據安全與一致性。以下是其體系結構的核心組成部分: 核心組件:協議層 (Protocol Layer) 作用:…

Django REST Framework Serializer 進階教程

1. 序列化器概述 在 Django REST Framework(DRF)中,序列化器(Serializer)用于將復雜的數據類型(如模型實例)轉換為 JSON 格式,以便于 API 返回給客戶端。此外,序列化器還…

面試問題詳解十四:Qt 多線程同步【QSemaphore】講解

在多線程開發中,經常需要控制多個線程對共享資源的訪問數量。例如限制同時下載文件的數量、控制數據庫連接池的連接使用等等。這時候,Qt 提供的 QSemaphore(信號量)就非常派得上用場。一、什么是 QSemaphore? QSemapho…

Spark mapGroups 函數詳解與多種用法示例

mapGroups 是 Spark 中一個強大的分組操作函數,它允許你對每個分組應用自定義邏輯并返回一個結果。以下是多個使用簡單樣例數據的具體用法示例。基礎示例數據假設我們有一個簡單的學生成績數據集:// 創建示例DataFrame val studentScores Seq(("Ma…

【圖論】Graphs.jl 圖數據的讀寫與生成器

文章目錄圖數據的讀寫Graphs.loadgraphGraphs.loadgraphsGraphs.savegraph保存單個圖保存圖字典Graphs.loadlg_multGraphs.savelgGraphs.savelg_mult圖的生成器1. 隨機圖模型1.1 Erd?s–Rnyi 模型1.2 巴拉巴西-阿爾伯特模型 (無標度網絡)1.3 小世界網絡模型1.4 隨機塊模型 (SB…

Go指針全解析:從基礎到實戰

基本概念與定義指針的定義指針是一種特殊的變量類型,它存儲的不是實際數據值,而是另一個變量在計算機內存中的地址。在底層實現上,指針本質上是保存內存位置的無符號整數,它直接指向內存中的特定位置,允許程序直接操作…

Oracle 查詢有哪些用戶 提示用戶名密碼無效

要查詢 Oracle 數據庫中的所有用戶,可以使用以下 SQL 查詢語句。這個查詢將返回數據庫中所有用戶的列表。 [] SELECT username FROM all_users ORDER BY username;如果你有足夠的權限(通常是 DBA 權限),你也可以使用 dba_users 視…

小白成長之路-develops -jenkins部署lnmp平臺

文章目錄一、準備工作1.1兩臺虛擬機1.2配置文件1.3免密登錄二、實戰1.構建主item2.測試nginx,php,mysql2.1新建測試項目2.2與正式項目綁定構建后的操作2.3測試2.4導入discuz項目總結一、準備工作 1.1兩臺虛擬機 服務器:192.168.144.24 客戶端:192.168.…

【HarmonyOS 6】仿AI喚起屏幕邊緣流光特效

【HarmonyOS 6】仿AI喚起屏幕邊緣流光特效 一、前言 最近在做 HarmonyOS 6.0 的適配,發現 Beta1版本里多了個很實用的視效功能——自帶背景的雙邊流光。 之前做屏幕邊緣流光特效的時候,要么得自己寫漸變動畫拼效果,要么就得套好幾個組件疊層&…

跟做springboot尚品甄選項目

springbootvue3 【尚硅谷Java項目《尚品甄選》 SpringBootSpringCloud萌新學會企業級java項目】003.后臺系統-搭建前端環境(工程創建)_嗶哩嗶哩_bilibili E:\project\AllProJect\Shangpin Selection\項目材料素材\課件\尚品甄選項目課件 前端套用框架…

【Linux】創建線程

提示:文章寫完后,目錄可以自動生成,如何生成可參考右邊的幫助文檔 文章目錄 文章目錄 一、為什么需要線程? 創建線程 示例:計算斐波恩夕法 一、為什么需要線程? 在多核處理器的計算機上,線程可…

HTML應用指南:利用POST請求獲取全國九號電動車體驗店服務店位置信息

九號公司(Ninebot)作為全球領先的智能短途出行解決方案提供商,始終秉持“智慧移動,愉悅生活”的品牌理念,致力于為個人用戶打造安全、智能、時尚的城市出行體驗。依托“智能硬件 + 數字服務 + 線下觸點”三位一體的戰略布局,九號公司已建立起覆蓋全國、輻射全球的銷售與服…

Kafka面試精講 Day 4:Consumer消費者模型與消費組

【Kafka面試精講 Day 4】Consumer消費者模型與消費組 在“Kafka面試精講”系列的第四天,我們將深入探討Kafka的核心組件之一——Consumer消費者模型與消費組(Consumer Group)。這是Kafka實現高吞吐、可擴展消息消費的關鍵機制,也…

使用 Uni-app 打包 外鏈地址APK 及 iOS 注意事項

本文詳細介紹了如何使用 Uni-app 框架將項目打包為 Android APK 和 iOS 應用,重點講解了 minSdkVersion、targetSdkVersion 和 abiFilters 的配置,以及 iOS 開發的注意事項。文章還包含了您提供的 WebView 示例代碼,并提供了關鍵的注意事項&a…

異常處理小妙招——3.構造函數的安全第一原則:為什么不在構造函數中拋出異常?

文章目錄災難性的生日派對構造函數:對象的出生證明安全第一:嚴格的出生檢查為什么要在構造函數中嚴格驗證?1. 避免"僵尸對象"2. Fail-Fast(快速失敗)原則現實世界的實踐建議1. 使用工廠方法模式2. 使用Build…

iptables 和 ip route

文章目錄iptables原理及常用命令表鏈鏈表鏈表總結iptables 常用命令及參數1. 規則管理命令 (Commands)2. 規則匹配參數 (Rule-Specification - Matches)3. 目標動作參數 (Target)命令示例配置流程示例ip route常用命令iptables和ip route的聯系實用命令示例對比iptables原理及常…

RPC和HTTP的區別?

RPC和HTTP是兩種不同的通信協議,它們在通信方式、性能效率以及靈活性可擴展性等方面存在區別。以下是具體分析: 通信方式 RPC:RPC是基于遠程過程調用的二進制協議,它允許客戶端像調用本地函數一樣調用遠程服務器上的函數或方法[2]…

貝葉斯分類(Bayes Classify)

一. 核心思想貝葉斯分類是一類基于貝葉斯定理(Bayes Theorem)和概率統計的分類算法,核心思想是 “通過已知的先驗概率,結合數據的似然性,計算后驗概率,最終將樣本歸為后驗概率最高的類別”。它在機器學習、…

怎么熟悉業務,我是做前端的,但對業務了解沒有渠道

作為前端開發者,想深入了解業務但“沒有渠道”,這是非常普遍的痛點。很多前端同學只接到“切圖實現頁面”的任務,久而久之就成了“實現工具人”。但業務理解力,恰恰是區分“初級”和“高級”前端的核心分水嶺。 好消息是&#xff…