使用 Logstash 遷移 MongoDB 數據到 Easysearch

大家好!在前面的文章中,我們已經詳細介紹了如何通過 Logstash 和 Canal 工具實現 MySQL 數據向 Easysearch 的遷移。如果您正在使用 MongoDB 作為數據存儲,并希望將其數據遷移到 Easysearch 中,這篇指南或許能為您提供一些幫助。
為了實現 MongoDB 與 Easysearch 之間的數據遷移,Logstash 依然是一個非常成熟穩定的工具選擇。在接下來的內容中,我們將介紹如何利用 Logstash 實現 MongoDB 到 Easysearch 的數據遷移。

MongoDB

MongoDB 作為一款功能強大的 NoSQL 數據庫,與主流數據庫系統一樣支持 JDBC 連接方式。這意味著我們可以通過 Logstash 的 JDBC 插件實現與 MongoDB 的連接,進而將數據遷移至 Easysearch。

測試數據如下

Logstash

使用 JDBC 連接數據庫,要下載對應數據庫的 MongoDB JDBC Driver,下載后解壓。

測試配置文件 mongodb_to_easysearch.conf

input {jdbc{jdbc_driver_class => "Java::com.wisecoders.dbschema.mongodb.JdbcDriver"jdbc_driver_library => "/usr/share/logstash/driver/mongojdbc4.8.3.jar"jdbc_user => "user"jdbc_password => "usertest"jdbc_connection_string => "jdbc:mongodb://localhost:27017/test"statement => "db.collection_test.find({},{'_id': false})"}
}filter {mutate {rename => {"[document][tags]" => "tags""[document][type]" => "type""[document][summary]" => "summary""[document][username]" => "username""[document][content]" => "content""[document][category]" => "category""[document][created]" => "created""[document][url]" => "url""[document][id]" => "id""[document][title]" => "title"}remove_field => [ "document" ]}
}output {elasticsearch {hosts => ["https://127.0.0.1:9200"]index => "mongo_doc"manage_template => falsessl_verification_mode => noneuser => "admin"password => "admin-test"}
}
  • jdbc_driver_library:指定解壓后的 jar 包地址
  • statement:指定要遷移的 collection
  • filter:可選,默認會把源字段全部放到 document 字段下,改成符合 ES 的習慣
  • index:遷移數據進入的索引

運行 Logstash 進行數據遷移。

使用 INFINI Console 查看索引數據。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/78284.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/78284.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/78284.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

亞馬遜英國站FBA費用重構:輕小商品迎紅利期,跨境賣家如何搶占先機?

一、政策背景:成本優化成平臺與賣家共同訴求 2024年4月,亞馬遜英國站(Amazon.co.uk)發布近三年來力度最大的FBA費用調整方案,標志著英國電商市場正式進入精細化成本管理時代。這一決策背后,是多重因素的疊…

使用Qt Quick Controls創建自定義日歷組件

目錄 引言相關閱讀1. DayOfWeekRow2. MonthGrid3. WeekNumberColumn 項目結構及實現工程結構圖代碼實現及解析1. 組件封裝2. 主界面實現 運行效果 總結下載鏈接 引言 Qt6 Quick框架提供了一套豐富的日歷相關組件,包括 MonthGrid、DayOfWeekRow 和 WeekNumberColumn…

【AI微信小程序開發】大轉盤小程序項目代碼:自設轉盤選項和概率(含完整前端+后端代碼)

系列文章目錄 【AI微信小程序開發】AI減脂菜譜小程序項目代碼:根據用戶身高/體重等信息定制菜譜(含完整前端+后端代碼)【AI微信小程序開發】AI菜譜推薦小程序項目代碼:根據剩余食材智能生成菜譜(含完整前端+后端代碼)【AI微信小程序開發】圖片工具小程序項目代碼:圖片壓…

redis相關問題整理

Redis 支持多種數據類型: 字符串 示例:存儲用戶信息 // 假設我們使用 redis-plus-plus 客戶端庫 auto redis Redis("tcp://127.0.0.1:6379"); redis.set("user:1000", "{name: John Doe, email: john.doeexample.com}"…

Vue-組件的懶加載,按需加載

在Vue項目中實現組件的懶加載(也稱為按需加載或代碼分割),可以大大提升應用的加載速度和性能。懶加載主要通過Webpack的代碼分割功能實現,特別是使用動態導入(import()語法)。 為什么要使用懶加載&#xf…

C# new Bitmap(32043, 32043, PixelFormat.Format32bppArgb)報錯:參數無效,如何將圖像分塊化處理?

C#處理非常大的圖像(如 32043x32043 像素)時,確實需要采取分塊化處理的方法來避免內存不足的問題。分塊化處理可以將大圖像分割成多個較小的塊,分別進行處理和保存,最后再合并這些塊以形成完整的圖像。以下是一個詳細的…

如何使用極狐GitLab 的外部狀態檢查功能?

極狐GitLab 是 GitLab 在中國的發行版,關于中文參考文檔和資料有: 極狐GitLab 中文文檔極狐GitLab 中文論壇極狐GitLab 官網 外部狀態檢查 (ULTIMATE ALL) pending 狀態引入于極狐GitLab 16.5 pending 狀態檢查的超時時間為兩分鐘引入于極狐GitLab 16…

深入探索Spark-Streaming:從Kafka數據源創建DStream

在大數據處理領域,Spark-Streaming是一個強大的實時流處理框架,而Kafka作為高性能的分布式消息隊列,二者結合能實現高效的數據處理。今天就來聊聊Spark-Streaming中從Kafka數據源創建DStream的相關知識。 早期,Spark-Streaming通過…

Kafka 詳解

1.基本概念:Kafka 是分布式發布 - 訂閱消息系統,具有高吞吐量、可擴展性等優勢,支持點對點和發布訂閱兩種消息模式,涉及 Broker、Topic、Partition 等多種角色。 2.安裝步驟:需先安裝 JDK 和 Zookeeper,下…

uniapp-商城-34-shop 購物車 選好了 進行訂單確認整體

在shop頁面選中商品添加到購物車&#xff0c;可選好后&#xff0c;進行確認和支付。具體呈現在shop頁面。 1 購物車欄 shop頁面代碼&#xff1a; 購物車代碼&#xff1a; 代碼&#xff1a; <template><view><view class"carlayout"><!-- 車里…

數據倉庫是什么?數據倉庫架構有哪些?

目錄 數據倉庫是什么&#xff1f;數據倉庫架構有哪些&#xff1f; 一、數據倉庫是什么&#xff1f; 二、數據倉庫的架構分層 1. 獲取層 2. 數據層 3. 應用層 4. 訪問層 三、數據倉庫的價值體現 1.決策支持 2.業務優化 3.提升競爭力 四、數據倉庫的未來發展趨勢 總…

單片機——使用printf調試

配置printf()輸出函數 1、來自于<stdio.h> 2、運行C語言時&#xff0c;輸出到終端 3、單片機沒有終端&#xff0c;需要使用串口&#xff0c;將要輸出的內容傳到電腦&#xff08;串口調試助手&#xff09;上 例子如下 #include <stdio.h> #include &qu…

人臉識別考勤系統實現教程:基于Face-Recognition、OpenCV與SQLite

引言 隨著人工智能技術的飛速發展&#xff0c;人臉識別技術已廣泛應用于安防、金融、教育等多個領域。本文將帶領大家利用Python的face-recognition庫、OpenCV和SQLite數據庫&#xff0c;從零開始構建一個具備異常報警功能的人臉識別考勤系統。該系統能夠實時檢測視頻流中的人…

親測成功???Linux下編譯opencv-4.10.0(靜態鏈接庫和動態鏈接庫)

1. 安裝依賴 在編譯之前&#xff0c;確保系統中安裝了必要的依賴工具和庫。運行以下命令安裝&#xff1a; sudo apt update sudo apt-get install build-essential sudo apt-get install cmake git libgtk2.0-dev pkg-config sudo apt-get install libavcodec-dev libavforma…

windows 部署Prometheus+Node-expoter

Prometheus v3.2.1 離線部署方式 通過helm部署prometheus會自動部署Node-expoter只需要添加prometheus的抓取規則&#xff01;&#xff01; 刪除&#xff1a; 清除之前安裝的 Prometheus 如果你之前已經安裝了 Prometheus&#xff0c;需要清除原有的 Prometheus 安裝&#xf…

HTMLCSS實現網頁輪播圖

網頁中輪播圖區域的實現與解析 在現代網頁設計中&#xff0c;輪播圖是一種常見且實用的元素&#xff0c;能夠在有限的空間內展示多個內容&#xff0c;吸引用戶的注意力。下面將對上述代碼中輪播圖區域的實現方式進行詳細介紹。 一、HTML 結構 <div class"carousel-c…

Linux:進程的概念

基本概念 課本概念&#xff1a;程序的一個可執行實例&#xff0c;正在執行的程序。 內核觀點&#xff1a;擔當分配系統資源實體。 當操作系統要執行程序時&#xff0c;也就是說操作系統要執行代碼&#xff0c;但一個操作系統需要執行多個程序&#xff0c;而CPU只有一塊&#xf…

前端基礎之《Vue(10)—過濾器》

一、過濾器 1、作用 用于數據處理。 2、全局過濾器 使用Vue.filter(名稱, val>{return newVal})定義。 在任何組件中都可以直接使用。 3、局部過濾器 使用選項&#xff0c;filters: {}定義&#xff0c;只能在當前組件中使用。 4、過濾器在Vue 3.0中已經淘汰了 5、過濾器…

平板電腦做歐盟網絡安全法案(EU)2022/30

平板電腦做歐盟網絡安全法案&#xff08;EU&#xff09;2022/30 平板電腦做EN18031,平板電腦做無障礙法規EU2019/882 歐盟委員會于2022年通過補充授權法案 &#xff08;EU&#xff09; 2022/30&#xff0c;明確要求無線電設備需滿足網絡安全、隱私保護及反欺詐要求。 新規時間軸…

Unity中打可選擇的AssetBundle,以及URP中加載AssetBundle包Shader丟失問題顯示洋紅色的解決方案

在上一篇打AssetBundle中已經實現了簡單的打AB包和加載,《Unity中打包AssetBundle并加載》,本篇筆記是進一步上一篇最后提出的問題,進行優化。 一、打可選擇的AssetBundle 每次打包都會把設置了AssetBundle名稱和后綴的所有文件都打包,這也是現在網上教學最多的 但是有時…