概述

在日常的 Elasticsearch 運維和數據管理中，數據遷移是一個常見的需求。無論是為了備份、升級，還是將數據從一個集群遷移到另一個集群，導出和導入索引數據都是至關重要的操作。本文將詳細介紹如何將自建 Elasticsearch 實例中的索引數據導出，并導入到另一實例的相同索引下。通過使用 elasticdump 工具，可以高效、準確地完成這一過程，實現數據的無縫遷移。

本文將詳細介紹如何使用 elasticsearch-dump 工具進行 Elasticsearch 數據的導出和導入。

目錄

1、什么是 elasticsearch-dump？

2、 安裝 elasticsearch-dump

3、導出與導入Elasticsearch 數據

3.1 導出本地

3.1.1 導出索引數據

3.1.2 導出索引映射

3.2 導入實例

3.2.1?導入索引映射

?3.2.2?導入索引數據

3.3?從源集群導出數據到目標集群

4、驗證數據導入

5、總結

---

1、什么是 elasticsearch-dump？

?elasticsearch-dump 是一個基于 Node.js 的命令行工具，專門用于導出和導入 Elasticsearch 數據。它支持將索引、映射、數據等從 Elasticsearch 導出為 JSON 文件，并且可以將這些 JSON 文件導入到另一個 Elasticsearch 實例中。適用于小到中規模的數據遷移，支持簡單的導出和導入操作，適合快速遷移。

2、 安裝 elasticsearch-dump

在使用 elasticsearch-dump 之前，我們需要先安裝它。可以通過 npm（Node.js 的包管理器）來安裝 elasticsearch-dump。

npm install elasticdump -g

說明：默認下載走的npm官方源，安裝較慢，這里設置成淘寶源進行下載，這樣可以大幅提高安裝包的速度，尤其是在中國大陸。

# 設置淘寶源
npm config set registry https://registry.npmmirror.com
# 確認當前使用的 npm 源
npm config get registry## 如果返回的結果是 https://registry.npmmirror.com，說明已經成功切換到淘寶源。

如安裝過程中報如下異常

npm ERR! Linux 3.10.0-1160.76.1.el7.x86_64
npm ERR! argv "/usr/local/node/bin/node" "/usr/local/node/bin/npm" "install" "elasticdump" "-g"
npm ERR! node v6.10.2
npm ERR! npm  v3.10.10npm ERR! Unsupported URL Type: npm:@search-dump/jsonstream@^1.4.0
npm ERR! 
npm ERR! If you need help, you may report this error at:
npm ERR!     <https://github.com/npm/npm/issues>npm ERR! Please include the following file with any support request:
npm ERR!     /root/npm-debug.log  報錯、

這個錯誤通常是由于你的 Node.js 和 npm 版本過低，導致它無法識別新的包的安裝方式（例如：npm:@search-dump/jsonstream@^1.4.0）。解決這個問題的辦法是升級 Node.js 和 npm。

要解決這個問題，需要更新 Node.js 至至少 v10 版本，建議安裝最新的穩定版 Node.js

解決步驟：

升級 Node.js 和 npm

這里我的 Node.js 版本是 v6.10.2，而 npm 版本是 v3.10.10，這兩個版本都相對較舊。可以通過參考文章?nodejs 安裝

確認 Node.js 和 npm 是否已成功更新

node -v  # 應該返回最新的 Node.js 版本
npm -v   # 應該返回最新的 npm 版本

安裝完成后，可以通過以下命令檢查是否安裝成功：

elasticdump --help

如果看到幫助信息，說明安裝成功。

3、導出與導入Elasticsearch 數據

假設我們有一個 Elasticsearch 實例運行在 http://source_elasticsearch:9200，并且有一個名為 your_index_name 的索引，我們希望將這個索引導出到一個 JSON 文件中。

3.1 導出本地

3.1.1 導出索引數據

?使用以下命令將?your_index_name索引的數據導出到?my_index_data.json?文件中：

elasticdump \--input=http://username:password@source_elasticsearch:9200/your_index_name \--output=your_index_data.json \--type=data

3.1.2 導出索引映射

除了數據，我們還需要導出索引的映射（mapping），以確保在導入時能夠保持相同的結構。使用以下命令將 your_index_name 的映射導出到 your_index_mapping.json 文件中：

elasticdump \--input=http://username:password@source_elasticsearch:9200/your_index_name \--output=your_index_mapping.json \--type=mapping

3.2 導入實例

現在我們已經將索引的數據和映射導出為 JSON 文件，接下來我們將這些數據導入到另一個 Elasticsearch 實例中。假設新的 Elasticsearch 實例運行在 http://target_elasticsearch:9200。

3.2.1?導入索引映射

首先，我們需要導入索引的映射。使用以下命令將 your_index_mapping.json 文件中的映射導入到新的 Elasticsearch 實例中：

elasticdump \--input=your_index_mapping.json \--output=http://username:password@target_elasticsearch:9200/your_index_name \--type=mapping

?3.2.2?導入索引數據

接下來，我們將?your_index_data.json?文件中的數據導入到新的 Elasticsearch 實例中：

elasticdump \--input=your_index_data.json \--output=http://username:password@target_elasticsearch:9200/your_index_name \--type=data

3.3?從源集群導出數據到目標集群

將數據從本地文件導入到目標 Elasticsearch 中的相同索引。

確保在運行 elasticdump 時提供了正確的 Elasticsearch 實例地址，并且該地址是有效的。假設在從源集群導出數據到目標集群，確保命令格式正確，類似如下：

elasticdump \--input=http://username:password@source_elasticsearch:9200/your_index_name \--output=http://username:password@target_elasticsearch:9200/your_index_name \--type=data

在使用 elasticdump 進行數據導入導出時，如果?Elasticsearch 實例啟用了基本認證（需要用戶名和密碼），如上方式指定。這里，username 和 password 應該替換為實際的 Elasticsearch 賬號和密碼。

確保以下幾點：

• http://source_elasticsearch:9200 和 http://target_elasticsearch:9200 這兩個地址正確，且可以訪問。
• your_index_name 是實際存在的索引名稱。

將數據從本地文件導入到目標 Elasticsearch 中的相同索引。

4、驗證數據導入

導入完成后，我們可以通過以下命令驗證數據是否成功導入：

curl -X GET -u username:password "http://target_elasticsearch:9200/your_index_name/_search?pretty"

如果返回的結果與原始索引中的數據一致，說明數據遷移成功。

5、總結

通過 elasticsearch-dump 工具，我們可以輕松地將 Elasticsearch 索引從一個實例導出并導入到另一個實例。無論是數據遷移、備份還是環境同步，elasticsearch-dump 都是一個非常實用的工具。希望本文能夠幫助大家順利完成 Elasticsearch 數據的遷移工作。