ES項目應用

配置:
ES存儲了2-3億條,幾百GB
ES集群有5 個節點
2主2副
ES返回數據量窗口大小設置
index.max_result_window
深度翻頁
1.from + size 方式
2.scroll相當于維護了一份當前索引段的快照信息,這個快照信息是你執行這個scroll查詢時的快照。在這個查詢后的任何新索引進來的數據,都不會在這個快照中查詢到。
但是它相對于from和size,不是查詢所有數據然后剔除不要的部分,而是記錄一個讀取的位置,保證下一次快速繼續讀取

缺點:
「scroll_id會占用大量的資源(特別是排序的請求)」
同樣的,scroll后接超時時間,頻繁的發起scroll請求,會出現一些列問題。
「是生成的歷史快照,對于數據的變更不會反映到快照上。」

「優點:」
適用于非實時處理大量數據的情況,比如要進行數據遷移或者索引變更之類的。
3.es維護一個實時游標,它以上一次查詢的最后一條記錄為游標,方便對下一頁的查詢,它是一個無狀態的查詢,因此每次查詢的都是最新的數據。
由于它采用記錄作為游標,因此**「SearchAfter要求doc中至少有一條全局唯一變量(每個文檔具有一個唯一值的字段應該用作排序規范)」**

「優點:」
無狀態查詢,可以防止在查詢過程中,數據的變更無法及時反映到查詢中。
不需要維護scroll_id,不需要維護快照,因此可以避免消耗大量的資源。

「缺點:」
由于無狀態查詢,因此在查詢期間的變更可能會導致跨頁面的不一值。
排序順序可能會在執行期間發生變化,具體取決于索引的更新和刪除。
至少需要制定一個唯一的不重復字段來排序。
它不適用于大幅度跳頁查詢,或者全量導出,對第N頁的跳轉查詢相當于對es不斷重復的執行N次search after,而全量導出則是在短時間內執行大量的重復查詢。
在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/697521.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/697521.shtml
英文地址,請注明出處:http://en.pswp.cn/news/697521.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

kali虛擬機橋接模式快速設置

第一步:選擇 虛擬機 > 設置 > 虛擬機設置,設置橋接模式 不選擇復制物理網絡連接狀態選項: 如果采用DHCP的方式來分配IP地址,當電腦網絡從有線或無線網絡之間進行移動時,DHCP會重新分配ip地址,即虛擬機…

泰迪智能科技大模型數據智能實驗室

自2022年11月ChatGPT問世以來,大模型開始備受關注,科技巨頭們紛紛推出大模型實驗室解決方案。大模型的價值不知在于互聯網場景,而在于大模型能力垂直化,能夠與具體的業務需求深度融合。 大模型實驗室是在學校現有的實驗室建設基礎…

leetcode hot100 買賣股票的最佳時機1

本題之前采用貪心算法來解決,現在可以采用動態規劃來解決,通過dp數組記錄每次的狀態從而獲取到最大的利潤。 這里dp數組定義為二維數組 dp[price.length][2],其中price.length表示第i天,[2]其中有0/1兩種狀態,[0]表示…

六、回歸與聚類算法 - 欠擬合和過擬合

目錄 1、定義 2、原因及解決方法 2.1 正則化 線性回歸欠擬合與過擬合線性回歸的改進 - 嶺回歸分類算法:邏輯回歸模型保存與加載無監督學習:K-means算法 1、定義 2、原因及解決方法 2.1 正則化

電路設計(26)——速度表的multisim仿真

1.設計要求 設計一款電路,能夠實時顯示當前速度。 用輸入信號模擬行駛的汽車,信號頻率的1hz代表汽車速度的1m/s。最后速度顯示,以km/h為單位。 2.電路設計 當輸入信號頻率為40HZ時,顯示的速度應該為144KM/h,仿真結果為…

HTTP基本概念-HTTP 常見的狀態碼有哪些?

資料來源 : 小林coding 小林官方網站 : 小林coding (xiaolincoding.com) HTTP 常見的狀態碼有哪些? 1xx 類狀態碼屬于提示信息,是協議處理中的一種中間狀態,實際用到的比較少。 2xx 類狀態碼表示服務器成功處理了客戶端的請求,也是我們最愿…

第一個 Angular 項目 - 添加服務

第一個 Angular 項目 - 添加服務 這里主要用到的內容就是 [Angular 基礎] - service 服務 提到的 前置項目在 第一個 Angular 項目 - 動態頁面 這里查看 想要實現的功能是簡化 shopping-list 和 recipe 之間的跨組件交流 回顧一下項目的結構: ? tree src/app/…

[概念區分] 正則表達式與正則化

正則表達式與正則化 機器學習在計算機科學和數據處理領域,關于“正則”的兩個術語:正則表達式和正則化,雖然它們在名稱上非常相似,但實際上它們是完全不同的概念。 正則表達式 也被稱為 regex,是一種強大的工具&…

Linux freezer機制

一、概述 系統進入suspended或進程被加入到cgroup凍結或解凍分組,用戶進程和部分內核線程被凍結后,會剝奪執行cpu資源,解凍或喚醒后恢復正常。 二、進程凍結與解凍原理 2.1 進程凍結 用戶進程和內核線程凍結的基本流程: 內核態…

設計模式-建造者模式(Builder Pattern)

一、建造者模式說明 建造者模式(Builder Pattern)是一種創建型設計模式,它的主要目的是將一個復雜對象的構建過程與其表示分離,使得同樣的構建過程可以創建不同的表示。 在建造者模式中,通常涉及以下幾個角色&#xf…

多業務場景下對于redis分布式鎖的一些思考

現在讓你寫一個Redis分布式鎖 大概率你會先寫一個框架 public Boolean setIfAbsent(String key, Object value,Long timeout) {try {return Boolean.TRUE.equals(objectRedisTemplate.opsForValue().setIfAbsent(key, value,timeout,TimeUnit.SECONDS));} catch (Exception e) …

2024開年,手機廠商革了自己的命

文|劉俊宏 編|王一粟 2024開年,AI終端的號角已經由手機行業吹響。 OPPO春節期間就沒閑著,首席產品官劉作虎在大年三十就迫不及待地宣布,OPPO正式進入AI手機時代。隨后在開年后就緊急召開了AI戰略發布會,…

【Antd】Form 表單獲取不到 Input 的值

文章目錄 今天遇到了一個奇怪的bug,Form表單中的Input組件的值,不能被Form獲取,導致輸入了內容,但是表單提交的時候值為undefined 報錯代碼 import { Button, Form, Input } from antd; import React from react;const App: Rea…

GaussDB SQL調優:建立合適的索引

背景 GaussDB是華為公司傾力打造的自研企業級分布式關系型數據庫,該產品具備企業級復雜事務混合負載能力,同時支持優異的分布式事務,同城跨AZ部署,數據0丟失,支持1000擴展能力,PB級海量存儲等企業級數據庫…

SQL中為什么不要使用1=1

最近看幾個老項目的SQL條件中使用了11,想想自己也曾經這樣寫過,略有感觸,特別拿出來說道說道。 編寫SQL語句就像炒菜,每一種調料的使用都可能會影響菜品的最終味道,每一個SQL條件的加入也可能會影響查詢的執行效率。那…

昨天Google發布了最新的開源模型Gemma,今天我來體驗一下

前言 看看以前寫的文章,業余搞人工智能還是很早之前的事情了,之前為了高工資,一直想從事人工智能相關的工作都沒有實現。現在終于可以安靜地系統地學習一下了。也是一邊學習一邊寫博客記錄吧。 昨天Google發布了最新的開源模型Gemma&#xf…

電商數據采集的幾個標準

面對體量巨大的電商數據,很多品牌會選擇對自己有用的數據進行分析,比如在控價過程中,需要對商品的價格數據進行監測,或者是需要做數據分析時,則需要采集到商品的價格、銷量、評價量、標題、店鋪名等信息,數…

Unity中.Net與Mono的關系

什么是.NET .NET是一個開發框架,它遵循并采用CIL(Common Intermediate Language)和CLR(Common Language Runtime)兩種約定, CIL標準為一種編譯標準:將不同編程語言(C#, JS, VB等)使用各自的編譯器,按照統…

JavaScript 原始值和引用值在變量復制時的異同

相比于其他語言,JavaScript 中的變量可謂獨樹一幟。正如 ECMA-262 所規定的,JavaScript 變量是松散類型的,而且變量不過就是特定時間點一個特定值的名稱而已。由于沒有規則定義變量必須包含什么數據類型,變量的值和數據類型在腳本…

mysql.service is not a native service, redirecting to systemd-sysv-install

字面意思:mysql.service不是本機服務,正在重定向到systemd sysv安裝 在CentOS上使用Systemd管理MySQL服務的具體步驟如下: 1、創建MySQL服務單元文件: 首先,你需要創建一個Systemd服務單元文件,以便Syste…