Easysearch 數據遷移之數據比對

上一篇我們通過 INFINI Gateway 進行了索引數據遷移,對索引遷移結果進行了初步且直觀的校驗--對比索引的文檔數是否一致。今天介紹個實實在在的數據比對方法,通過網關對比索引文檔的內容在兩個集群是否一致。話不多說,就拿上次遷移的兩個索引開整。

比對步驟

操作非常簡單,攏共分兩步:

  1. 準備網關配置
  2. 數據比對

比對實戰

1. 準備網關比對數據的配置

老樣子去 github 拿就完了,戳這里。下載完之后,稍作修改.

修改文件開頭的變量

  1 env:2   LR_GATEWAY_HOST: 127.0.0.1:80013   LR_GATEWAY_API_HOST: 127.0.0.1:90004   ELASTICSEARCH_ENDPOINT: http://127.0.0.1:92005   ELASTICSEARCH_ENDPOINT2: http://127.0.0.1:92016   SUITES_NAME: index-docs-diff

修改集群資源相關的配置

 36 elasticsearch:37   - name: source38     enabled: true39     endpoints:40       - $[[env.ELASTICSEARCH_ENDPOINT]]41     basic_auth:42       username: elastic43       password: goodgoodstudy4445   - name: target46     enabled: true47     endpoints:48       - $[[env.ELASTICSEARCH_ENDPOINT2]]49     basic_auth:50       username: admin51       password: 14da41c79ad2d744b90c

pipeline 部分修改要對比的索引名稱為 infinilabs 和 test1,是的一次對比兩個。

pipeline:- name: index_diff_serviceauto_start: truekeep_running: falseprocessor:- dag:mode: wait_allparallel:- dump_hash: #dump es1's docsort_document_fields: trueindices: "infinilabs,test1"scroll_time: "10m"elasticsearch: "source"
#              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
#              fields: "doc_hash"output_queue: "source_docs"batch_size: 1000slice_size: 1
#              hash_func: "xxhash64"- dump_hash: #dump es2's docindices: "infinilabs,test1"scroll_time: "10m"
#              fields: "doc_hash"
#              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"batch_size: 1000slice_size: 1
#              hash_func: "xxhash64"elasticsearch: "target"output_queue: "target_docs"

2. 執行數據比對

# 數據比對的配置文件名為 index-diff.yml
./gateway-mac-arm64 -config index-diff.yml

比對結果顯示, infinilabs 和 test1 兩個索引的數據在兩個集群一致。如果數據不一致會是什么情況呢?這個任務交給屏幕前的你了,有問題歡迎找我交流。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/92896.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/92896.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/92896.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Codeforces Round 1042 (Div. 3)

ABCD 略E注意到每個操作最多執行一次,ifa[i]!b[i],要么a[i]^a[i1]要么a[i]^b[i1]G設消除1~i的數的操作次數為f[i],可以推出f[i]2*f[i-1]1,那么消除1~i的數的分數乘的數為g[i],g[i]g[i-1]*g[i-1]*i s雖然很大&#xff0…

AJAX:讓你的網頁“靜悄悄”變聰明,體驗絲滑升級

大家好,今天想聊聊一個讓網頁“活”起來的小秘密——AJAX。你可能遇到過這種情況:點個按鈕,頁面就刷新,等得心急火燎。但用了AJAX的網站,比如購物車更新或搜索建議,數據嗖嗖就來了,整個頁面卻紋…

【iOS】Block基礎知識和底層探索

文章目錄前言Block的聲明和創建問題引入Block的底層結構Block的執行流程Block的創建與存儲Block的傳遞與調用Block的捕獲機制捕獲局部變量捕獲全局變量小結Block的類型__block修飾符__block變量的包裝結構體block的實例結構體block的執行邏輯Block循環引用造成的原因解決方法小…

1.Ansible 自動化介紹

1-Ansible 自動化介紹 Ansible 自動化介紹 手動執行任務和自動化執行任務 手動執行任務的麻煩事: 很容易漏掉某個步驟,或者不小心執行錯步驟,而且很難驗證每個步驟是不是真的按預期完成了。管理一大堆服務器時,很容易出現配置…

2025年云手機場景適配的行業觀察

2025年的市場中,云手機品牌百花齊放,不同品牌在性能、功能和場景適配性上的差異日益顯著。隨著云計算技術的快速發展,云手機已從 嘗鮮工具 演變為游戲、辦公、企業運營等場景的剛需工具。現市面上也有著更多的云手機品牌,結合實測…

Date/Calendar/DateFormat/LocalDate

作用說明Date用于定義時間,提供date對象間的比較方法Calendar(日歷類),提供對時間的運算方法DateFormat是接口,它的實現類SimpleDateFormat用來規范時間輸出形式LocalDate,在JDK1.8之后引入,方便了對時間的運算方法介紹Date常用方…

在Python 3.8環境中安裝Python 3.6兼容包的方法

在Python 3.8環境中安裝Python 3.6兼容包的方法 用戶的需求是:在Python 3.8環境中重新安裝原本為Python 3.6設計的包。這通常涉及兼容性問題,因為Python 3.8可能引入了一些語法或API變更,導致舊包無法直接運行。以下是逐步解決方案&#xff…

三種DuckDB電子表格插件的union all查詢性能對比

我選取了最穩定、兼容性最好的三種:官方excel對應函數read_xlsx()、官方spatial對應函數st_read()、rusty_sheet對應函數read_sheet。 1.建立兩個包含前50萬和后54萬的xlsx文件,用于比較。利用官方excel的copy()to進行。 D copy (from v1 order by l_ord…

Python 中使用多進程編程的“三兩”問題

文章目錄一、簡介二、選擇合適的啟動方式三、手動終止所有的進程小結一、簡介 這里簡單介紹在Python中使用多進程編程的時候容易遇到的情況和解決辦法,有助于排查和規避某類問題,但是具體問題還是需要具體分析,后續會補充更多的內容。 二、…

Ansible部署應用

目錄Ansible概述1:什么是Ansible2:Ansible的架構組成3:Ansible與SaltStack的對比安裝部署Ansible服務1:系統環境設置2:安裝Ansible(第一臺)2:配置主機清單3:修改Ansible配…

疏老師-python訓練營-Day44預訓練模型

浙大疏錦行 知識點回顧: 預訓練的概念常見的分類預訓練模型圖像預訓練模型的發展史預訓練的策略預訓練代碼實戰:resnet18 作業: 嘗試在cifar10對比如下其他的預訓練模型,觀察差異,盡可能和他人選擇的不同嘗試通過ctrl進…

AI入門學習--如何寫好prompt?

寫好Prompt(提示詞)是駕馭AI模型的核心技能。以下是結合測試工程師需求的 結構化方法論 和 黃金模板一、prompt設計金字塔終極心法: Prompt 對AI的測試需求文檔,需像設計測試用例一樣:可執行:明確輸入輸出…

Linux編程 IO(標準io,文件io,目錄io)

標準IO C語言標準IO概述標準IO&#xff08;Standard Input/Output&#xff09;是C語言中用于處理文件和數據流的一組函數庫&#xff0c;定義在<stdio.h>頭文件中。與低級IO&#xff08;如read/write&#xff09;相比&#xff0c;標準IO提供了緩沖機制&#xff0c;提高了數…

C# WPF本地Deepseek部署

模型下載地址 using LLama; using LLama.Common; using System; using System.IO; using System.Threading.Tasks; using System.Windows; using System.Windows.Input;namespace YF_Talk {public partial class MainWindow : Window{private LLamaWeights _model;private LLa…

【Abp.VNext】Abp.Vnext框架模塊學習

1、Abp.Vnext-集成 Volo.Abp.Core2、Abp.vNext-Web模塊 Volo.Abp.AspNetCore.MVC框架&#xff08;framework文件夾&#xff09; 七、Abp.vNext-應用模塊-Identity身份認證 業務模塊&#xff08;modules文件夾->identity&#xff09; 1、添加領域模型 Volo.Abp.Identity.Doma…

【完整源碼+數據集+部署教程】火柴實例分割系統源碼和數據集:改進yolo11-rmt

背景意義 研究背景與意義 在計算機視覺領域&#xff0c;實例分割技術作為一種重要的圖像處理方法&#xff0c;近年來得到了廣泛的關注和應用。實例分割不僅能夠識別圖像中的物體類別&#xff0c;還能精確地分割出每個物體的輪廓&#xff0c;提供更為細致的視覺信息。這一技術在…

飛算JavaAI云原生實踐:基于Docker與K8s的自動化部署架構解析

一、飛算JavaAI詳細介紹 1.1 飛算JavaAI飛算JavaAI是飛算云智推出的一款革命性Java開發輔助工具&#xff0c;它通過人工智能技術深度賦能傳統軟件開發流程&#xff0c;特別為大學生課程設計、畢業設計等實踐教學環節提供了強有力的技術支持。在當前高校計算機相關專業教學中&am…

小程序打通美團核銷:解鎖到店綜合業態私域密碼,賦能6000+門店破局增長

數字化浪潮奔涌而來&#xff0c;棋牌室、臺球廳、親子樂園等線下綜合業態面臨經營轉型的關鍵節點。小程序與美團核銷功能的深度耦合&#xff0c;正成為撬動私域流量的核心杠桿&#xff0c;為超6000家門店打通了一條低成本、高轉化的經營快車道。過往經營模式中&#xff0c;線上…

Linux Shell:Nano 編輯器備忘

打開文件 sudo nano /etc/apt/sources.list選中多行&#xff0c;然后刪除 用方向鍵將光標定位到要刪除的起始位置按下 Alt A 設置錨點用方向鍵選擇要刪除的區域 (以上 3 步是為了選中文本)用 Ctrl K(剪切) 或 Alt D(直接刪除) 全選并刪除 按下 Alt \ 將光標移動到文件開頭…

常見的設計模式(2)單例模式

目錄 一、版本一&#xff1a;禁用構造與拷貝 二、版本二&#xff1a;注冊析構函數/嵌套垃圾回收 &#xff08;1&#xff09;使用atexit注冊程序結束時的函數 &#xff08;2&#xff09;使用對象嵌套垃圾回收 三、版本三&#xff1a;線程安全 四、版本四&#xff1a;編譯器…