在 Elasticsearch 中使用 HDFS 存儲快照的步驟如下：
1.安裝 HDFS 插件
要使用 HDFS 存儲 Elasticsearch 的索引快照，需要在 Elasticsearch 集群的所有節點上安裝 HDFS 插件。
? 在線安裝：適用于網絡環境良好的場景，執行以下命令：
```bash
? sudo bin/elasticsearch-plugin install repository-hdfs
? ```
? 離線安裝：適用于網絡受限的環境，先下載插件包，然后安裝：
?
```bash
? sudo bin/elasticsearch-plugin install file:///path/to/repository-hdfs.zip
? ```
插件版本必須與 Elasticsearch 版本一致。
安裝完成后，重啟所有 Elasticsearch 節點以使插件生效。
2.創建 HDFS 存儲庫
在 HDFS 中創建一個目錄，并為 Elasticsearch 用戶分配權限：
```bash
sudo -u hdfs hdfs dfs -mkdir /user/elasticsearch
sudo -u hdfs hdfs dfs -chown elasticsearch:elasticsearch /user/elasticsearch
```
然后在 Elasticsearch 中注冊 HDFS 存儲庫：
```bash
PUT /_snapshot/my_hdfs_repository
{
? "type": "hdfs",
? "settings": {
? ? "uri": "hdfs://namenode:8020/",
? ? "path": "elasticsearch/repositories/my_hdfs_repository",
? ? "conf.dfs.client.read.shortcircuit": "true"
? }
}
```
? `uri`是 HDFS 集群的地址。
? `path`是 HDFS 中存儲快照的目錄路徑。
? `conf.dfs.client.read.shortcircuit`可根據需要設置為`true`或`false`。
3.創建快照
注冊存儲庫后，可以創建快照：
```bash
PUT /_snapshot/my_hdfs_repository/snapshot_1?wait_for_completion=true
{
? "indices": "index1,index2", # 指定要備份的索引，可選
? "ignore_unavailable": true, # 忽略不存在的索引
? "include_global_state": false # 不備份集群全局狀態
}
```
? `wait_for_completion=true`參數會阻塞操作直到快照完成。
4.查詢快照
可以使用以下命令查詢快照狀態：
```bash
GET /_snapshot/my_hdfs_repository/snapshot_1
```
5.恢復快照
快照可以恢復到同一個集群或另一個集群：
```bash
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore?wait_for_completion=true
{
? "indices": "index1,index2", # 指定要恢復的索引
? "include_global_state": true
}
```
注意事項
? 快照和恢復操作存在版本兼容性問題，備份的 Elasticsearch 版本應與恢復時的版本一致。
? 在跨集群恢復時，目標集群需要創建與原始集群相同名稱的存儲庫。
通過以上步驟，可以將 Elasticsearch 的快照存儲到 HDFS 中，實現數據的備份和恢復。
是的，Elasticsearch 在恢復快照時，會覆蓋目標索引中的現有數據。恢復快照的目的是將目標索引恢復到快照所記錄的狀態，因此它會替換掉目標索引中的現有數據。以下是關于恢復操作的一些關鍵點和注意事項：
1.恢復操作的覆蓋行為
? 當你恢復一個快照時，Elasticsearch 會將快照中的索引數據完全覆蓋目標索引中的數據。
? 如果目標索引已經存在，恢復操作會刪除目標索引中的所有數據，并用快照中的數據替換。
? 如果目標索引不存在，Elasticsearch 會創建新的索引，并寫入快照中的數據。
2.如何避免覆蓋
如果你希望在恢復快照時保留目標索引中的現有數據，可以通過以下方式避免覆蓋：
（1）重命名索引
在恢復快照時，可以通過`rename_pattern`和`rename_replacement`參數對索引進行重命名。例如：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
? "indices": "my_index",
? "rename_pattern": "my_index",
? "rename_replacement": "my_index_restored"
}
```
這會將快照中的`my_index`索引恢復為`my_index_restored`，從而避免覆蓋現有的`my_index`。
（2）僅恢復部分數據
如果你只需要恢復部分數據，可以在恢復時指定具體的索引，而不是整個快照。例如：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
? "indices": "index1,index2" ?// 只恢復指定的索引
}
```
這樣可以避免恢復不需要的索引，從而減少對現有數據的影響。
（3）備份現有數據
在恢復快照之前，建議先備份目標索引中的現有數據。可以創建一個新的快照，或者使用其他備份工具（如 Logstash）導出數據。
3.恢復時的注意事項
? 版本兼容性：恢復的 Elasticsearch 版本應與創建快照時的版本一致，或者至少是向后兼容的版本。
? 集群狀態：在恢復之前，確保集群狀態是綠色的，以避免恢復過程中出現錯誤。
? 索引狀態：如果目標索引已經存在，恢復操作會刪除并重建索引。如果需要保留現有數據，建議先重命名現有索引。
? 性能影響：恢復操作可能會對集群性能產生影響，建議在低峰時段進行。
4.示例：避免覆蓋的恢復操作
以下是一個示例，展示如何在恢復快照時避免覆蓋現有索引：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
? "indices": "my_index",
? "rename_pattern": "my_index",
? "rename_replacement": "my_index_restored",
? "include_global_state": false
}
```
這個操作會將快照中的`my_index`索引恢復為`my_index_restored`，而不會覆蓋現有的`my_index`。
總結
Elasticsearch 的恢復操作默認會覆蓋目標索引中的現有數據。為了避免覆蓋，可以通過重命名索引、僅恢復部分數據或備份現有數據來實現。在執行恢復操作之前，務必仔細規劃，以確保數據安全。
