Elasticsearch集群節點配置詳解

?注意:如果是在局域網中運行elasticsearch集群也是很簡單的,只要cluster.name設置一致,并且機器在同一網段下,啟動的es會自動發現對方,組成集群。

三、配置淺涉

elasticsearch的config文件夾里面有兩個配置文件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日志配置文件,es也是使用log4j來記錄日志的,所以logging.yml里的設置按普通log4j配置文件來設置就行了。下面主要講解下elasticsearch.yml這個文件中可配置的東西。

?

cluster.name:elasticsearch
配置es的集群名稱,默認是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可以用這個屬性來區分不同的集群。

node.name:"FranzKafka"
節點名,默認隨機指定一個name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。

node.master:true
指定該節點是否有資格被選舉成為node,默認是true,es是默認集群中的第一臺機器為master,如果這臺機掛了就會重新選舉master。

node.data:true
指定該節點是否存儲索引數據,默認為true。

index.number_of_shards:5
設置默認索引分片個數,默認為5片。

index.number_of_replicas:1
設置默認索引副本個數,默認為1個副本。

path.conf:/path/to/conf
設置配置文件的存儲路徑,默認是es根目錄下的config文件夾。

path.data:/path/to/data
設置索引數據的存儲路徑,默認是es根目錄下的data文件夾,可以設置多個存儲路徑,用逗號隔開,例:
path.data:/path/to/data1,/path/to/data2

path.work:/path/to/work
設置臨時文件的存儲路徑,默認是es根目錄下的work文件夾。

path.logs:/path/to/logs
設置日志文件的存儲路徑,默認是es根目錄下的logs文件夾

path.plugins:/path/to/plugins
設置插件的存放路徑,默認是es根目錄下的plugins文件夾

bootstrap.mlockall:true
設置為true來鎖住內存。因為當jvm開始swapping時es的效率會降低,所以要保證它不swap,可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值,并且保證機器有足夠的內存分配給es。同時也要允許elasticsearch的進程可以鎖住內存,Linux下可以通過`ulimit-l unlimited`命令。

network.bind_host:192.168.0.1
設置綁定的ip地址,可以是ipv4或ipv6的,默認為0.0.0.0。


network.publish_host:192.168.0.1
設置其它節點和該節點交互的ip地址,如果不設置它會自動判斷,值必須是個真實的ip地址。

network.host:192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

transport.tcp.port:9300
設置節點間交互的tcp端口,默認是9300。

transport.tcp.compress:true
設置是否壓縮tcp傳輸時的數據,默認為false,不壓縮。

http.port:9200
設置對外服務的http端口,默認為9200。

http.max_content_length:100mb
設置內容的最大容量,默認100mb

http.enabled:false
是否使用http協議對外提供服務,默認為true,開啟。

gateway.type:local
gateway的類型,默認為local即為本地文件系統,可以設置為本地文件系統,分布式文件系統,Hadoop的HDFS,和amazon的s3服務器,其它文件系統的設置方法下次再詳細說。

gateway.recover_after_nodes:1
設置集群中N個節點啟動時進行數據恢復,默認為1。

gateway.recover_after_time:5m
設置初始化數據恢復進程的超時時間,默認是5分鐘。

gateway.expected_nodes:2
設置這個集群中節點的數量,默認為2,一旦這N個節點啟動,就會立即進行數據恢復。

cluster.routing.allocation.node_initial_primaries_recoveries:4
初始化數據恢復時,并發恢復線程的個數,默認為4。

cluster.routing.allocation.node_concurrent_recoveries:2
添加刪除節點或負載均衡時并發恢復線程的個數,默認為4。

indices.recovery.max_size_per_sec:0
設置數據恢復時限制的帶寬,如入100mb,默認為0,即無限制。

indices.recovery.concurrent_streams:5
設置這個參數來限制從其它分片恢復數據時最大同時打開并發流的個數,默認為5。

discovery.zen.minimum_master_nodes:1
設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對于大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout:3s
設置集群中自動發現其它節點時ping連接超時時間,默認為3秒,對于比較差的網絡環境可以高點的值來防止自動發現時出錯。

discovery.zen.ping.multicast.enabled:false
設置是否打開多播發現節點,默認是true。

discovery.zen.ping.unicast.hosts:["host1", "host2:port","host3[portX-portY]"]
設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點

?

四、集群配置多個節點

1.概述

本例子的集群將部署4個節點:

10.0.0.11 es1

10.0.0.209 es2

10.0.0.206 es3

10.0.0.208 es4

?

2.集群配置

上文提到過,只要集群名相同,且機器處于同一局域網同一網段,es會自動去發現其他的節點。

?

2.1es2的配置

vimES_HOME/config/elasticsearch.yml

?

在文件尾部添加一下內容:

cluster.name:elasticsearch #集群的名稱,同一個集群該值必須設置成相同的

node.name:"es2" #該節點的名字

node.master:true #該節點有機會成為master節點

node.data:true #該節點可以存儲數據

node.rack:rack2 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.209 #設置其他節點與該節點交互的IP地址

network.host:10.0.0.209 #該參數用于同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啟http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對于大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout:120s #設置集群中自動發現其他節點時ping連接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集群中的Master節點的初始列表,可以通過這些節點來自動發現其他新加入集群的節點

?

2.2es3的配置

相似地,在206的機子上

vimES_HOME/config/elasticsearch.yml

?

在文件尾部添加一下內容:

cluster.name:elasticsearch #集群的名稱,同一個集群該值必須設置成相同的

node.name:"es3" #該節點的名字

node.master:true #該節點有機會成為master節點

node.data:true #該節點可以存儲數據

node.rack:rack3 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.206 #設置其他節點與該節點交互的IP地址

network.host:10.0.0.206 #該參數用于同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啟http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對于大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout:120s #設置集群中自動發現其他節點時ping連接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集群中的Master節點的初始列表,可以通過這些節點來自動發現其他新加入集群的節點

?

2.3 208的機子上的es配置就參考上面兩個節點的

?

2.4驗證結果

啟動節點:

ES_HOME/bin/service/elasticsearchstart

?

成功啟動各個節點后,瀏覽器打開http://10.0.0.209:9200/_plugin/head/,界面會列出各個節點的信息。

?

3.節點添加和刪除

3.1添加節點非常簡單,幾乎與上面設置節點的步驟一致。

在10.0.0.11機子上,vimES_HOME/config/elasticsearch.yml

?

cluster.name:elasticsearch #集群的名稱,同一個集群該值必須設置成相同的

node.name:"es5" #該節點的名字

node.master:false?#該節點有機會成為master節點

node.data:true #該節點可以存儲數據

node.rack:rack5 #該節點所屬的機架

index.number_of_shards:5 #shard的數目

index.number_of_replicas:3 #數據副本的數目

network.bind_host:0.0.0.0 #設置綁定的IP地址,可以是IPV4或者IPV6

network.publish_host:10.0.0.11 #設置其他節點與該節點交互的IP地址

network.host:10.0.0.11 #該參數用于同時設置bind_host和publish_host

transport.tcp.port:9300 #設置節點之間交互的端口號

transport.tcp.compress:true #設置是否壓縮tcp上交互傳輸的數據

http.port:9200 #設置對外服務的http端口號

http.max_content_length:100mb #設置http內容的最大大小

http.enabled:true #是否開啟http服務對外提供服務

discovery.zen.minimum_master_nodes:2 #設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對于大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout:120s #設置集群中自動發現其他節點時ping連接的超時時間

discovery.zen.ping.multicast.enabled:true #設置是否打開多播發現節點

discovery.zen.ping.unicast.hosts:["10.0.0.209:9300","10.0.0.206:9300","10.0.0.208:9300"] #設置集群中的Master節點的初始列表,可以通過這些節點來自動發現其他新加入集群的節點

?

寫好配置,啟動此es節點。

查看集群的狀態:

  • http://10.0.0.11:9200/_nodes

elasticsearch采用廣播的方式自動發現節點,需要等待一段時間才能發現新的節點:

耐心等待...最后可以在此界面看到各個節點的信息。

?

3.2節點刪除

在想要刪除節點的機子上,運行ES_HOME/bin/service/elasticsearchstop,等待一會后,查看集群狀態,會發現該節點沒有了

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/444655.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/444655.shtml
英文地址,請注明出處:http://en.pswp.cn/news/444655.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MongoDB修改器使用

歡迎關注我的新微信公眾號 ipgame,有什么問題可以提供交流的平臺,歡迎大家討論。 對于文檔的更新除替換外,針對某個或多個文檔只需要部分更新可使用原子的更新修改器,能夠高效的進行文檔更新。更新修改器是中特殊的鍵, 用來指定復雜的操作,比如增加、刪除或者調整鍵,還…

Git(12)-stash, reflog

git stash1. git stash2. reflog命令概覽git stash save "WIP:xxxxx" # save后可以跟筆記,WIP:work in process git stash list # 查看存儲狀態棧的條目 git stash pop # 當前工作目錄和索引還原至最近一次save操作的內容…

cmake生成Win64位工程

使用cmake編譯64的dll 一開始使用cmake --build .來生成了dll,在導入到java項目中使用的時候,才發現是32位的。導致程序不能正常運行,報錯如下: Exception in thread "main" java.lang.UnsatisfiedLinkError Cant load…

leetcode 106. 從中序與后序遍歷序列構造二叉樹

根據一棵樹的中序遍歷與后序遍歷構造二叉樹。 注意: 你可以假設樹中沒有重復的元素。 例如,給出 中序遍歷 inorder [9,3,15,20,7] 后序遍歷 postorder [9,15,7,20,3] 返回如下的二叉樹: 3 / \ 9 20 / \ 15 7 思路:和前…

Mat矩陣(圖像容器)的創建及CV_8UC1,CV_8UC2等參數詳解

一)Mat矩陣(圖像容器)創建時CV_8UC1,CV_8UC2等參數詳解 1--Mat不但是一個非常有用的圖像容器類,同時也是一個通用的矩陣類 2--創建一個Mat對象的方法很多 3--使用Mat圖像容器類創建Mat類的對象 //! default constructor Mat(); //! constructs …

TensorFlow(1)-模型相關基礎概念

TensorFlow-11.Graph對象2.Session對象3.Variabels變量4. placeholders與feed_dict5. tf.train.Saver() 模型參數保存、加載Tensorflow 中文官網教程–2.0版本的官方教程 TensorFlow教程:TensorFlow快速入門教程(非常詳細) pytorch Vs tensor…

memcache的使用入門C++代碼

下載源碼編譯,memcached就是生成的主程序,啟動可指定端口,memcached作為server端,依然是我們熟悉的cs模式,使用兩個client一個setkey,一個getkey一百萬個做測試。 ./memcached -d -m 300 -p 11211 -u root…

leetcode78 子集

給定一組不含重復元素的整數數組 nums,返回該數組所有可能的子集(冪集)。 說明:解集不能包含重復的子集。 示例: 輸入: nums [1,2,3] 輸出: [ [3], [1], [2], [1,2,3], [1,3], [2,3], [1,2], [] ] 思路&…

Fiddler抓包工具使用

先下載Fiddler 歡迎關注我的新微信公眾號 ipgame,有什么問題可以提供交流的平臺,歡迎大家討論。 電腦最好是筆記本,這樣能和手機保持統一局域網內;其他不多說,直接說步驟了。 一.對PC(筆記本&#xff0…

Tensorboard--模型可視化工具

Tensorboard1.tensorboard in tensorflow1.1 tensorboard的啟動過程1.2 tf.summary 可視化類型1.3 tf.summary 使用demo2.tensorboard in pytorch2.1 SummaryWriter 使用demo12.2 tSummaryWriter 使用demo22.3 tensorboard 數據再讀取tensorboard in tensorflow :te…

opencv findContours 報錯_acrt_first_block == header

報錯_acrt_first_block header 之前一直使用OpenCV3.3VS2015 void AOIAlgorithm::findUnits(Mat& blkGray, vector<vector<cv::Point>> & blkContours) {Mat blkOBW;blur(blkGray, blkGray, cv::Size(5, 5));threshold(blkGray, blkOBW, 0, 255, CV_THR…

TensorFlow(2)-訓練數據載入

tensorflow 訓練數據載入1. tf.data.Dataset2. dataset 創建數據集的方式2.1 tf.data.Dataset.from_tensor_slices()2.2 tf.data.TextLineDataset()2.3 tf.data.FixedLengthRecordDataset()2.4 tf.data.TFRecordDataset()3. dateset 迭代操作iterator3.1 make_one_shot_iterato…

leetcode66. 加一

給定一個由整數組成的非空數組所表示的非負整數&#xff0c;在該數的基礎上加一。 最高位數字存放在數組的首位&#xff0c; 數組中每個元素只存儲單個數字。 你可以假設除了整數 0 之外&#xff0c;這個整數不會以零開頭。 示例 1: 輸入: [1,2,3] 輸出: [1,2,4] 解釋: 輸入…

設備硬件加密方法

在機器視覺或者一些傳統制造業行業里經常牽扯到軟件加密算法,或者一些簡單的加密,比如相機綁定,或者USB接口綁定之類的,那么針對這些硬件設備綁定加密方式,我這里簡單的提供一個方法來實現: 方法很簡單,從設備管理器里查找關心的USB設備,對比PID,VID和全球唯一標識GU…

addr2line 和 tombstone問題分析

做安卓開發的同學對于tombstone問題應該是很熟悉了,但是對于如何排查和分析值得總結和整理的,這篇文章對入門安卓開發的技術來說是個入門指導,同時對安卓開發的中高級開發也有借鑒。 首先我們來說下什么是tombstone : 當一個動態庫(native 程序)開始執行時,系統會注冊…

TensorFlow(3)-與訓練相關的操作

與訓練相關的操作0 gpu版本的tensor flow安裝1. tf.control_dependencies(update_ops)0 gpu版本的tensor flow安裝 cuda10.2 conda create -n py27 python2.7 conda activate py27 pip install tensorflow1.14.0 驗證 gpu版本的tensor可用 import tensorflow as tf print(tf.t…

leetcode14. 最長公共前綴

編寫一個函數來查找字符串數組中的最長公共前綴。 如果不存在公共前綴&#xff0c;返回空字符串 ""。 示例 1: 輸入: ["flower","flow","flight"] 輸出: "fl" 示例 2: 輸入: ["dog","racecar",&quo…

Android在子線程里使用Toast報錯Can't toast on a thread that has not called Looper.prepare()

在接android SDK的時候有時候為了方便debug調試查看&#xff0c;通過Toast輸出相關信息&#xff0c; 實際上這個是在子線程中輸出的&#xff0c;在logcat里查看有如下報錯java.lang.RuntimeException: Cant toast on a thread that has not called Looper.prepare()。 解決辦法…

虛擬機安裝windows2012和虛擬機安裝國產系統deepin

虛擬機安裝windows2012和虛擬機安裝國產系統deepin 一.安裝windows20121.安裝VMWare虛擬機2.1.注意點一&#xff1a;VMWare虛擬網卡2.2.注意點二&#xff1a;配置虛擬網絡編輯器3.安裝配置Windows Server 2012 R2 二.虛擬機安裝deepin1.deepin官網下載ios鏡像2.deepin下載合適的…

leetcode876 鏈表中間的結點

給定一個帶有頭結點 head 的非空單鏈表&#xff0c;返回鏈表的中間結點。 如果有兩個中間結點&#xff0c;則返回第二個中間結點。 示例 1&#xff1a; 輸入&#xff1a;[1,2,3,4,5] 輸出&#xff1a;此列表中的結點 3 (序列化形式&#xff1a;[3,4,5]) 返回的結點值為 3 。 …