clickhouse高可用&可拓展部署

1.部署架構

1.1高可用架構

1.2硬件資源

部署服務	節點名稱	節點ip	核數	內存	磁盤
zookeeper	zk-01	/	4c	8G	100G
	zk-02	/	4c	8G	100G
	zk-03	/	4c	8G	100G
clikehouse	ck-01	/	32c	128G	2T
	ck-02	/	32c	128G	2T
	ck-03	/	32c	128G	2T
	ck-04	/	32c	128G	2T

1.3擴容

1.3.1節點擴容

新增一個分片，2個副本，擴容后的架構圖如下：

1.3.2資源擴容

Cpu和內存直接在云平臺上擴容，磁盤使用lvm擴容數據目錄大小

1.4 混合部署

1.5 負載均衡&讀寫分離

采用chproxy來做負載均衡和讀寫分離，具體架構如下：

2.安裝部署

2.1部署規劃

采用1.4混合部署方式，3臺虛擬機，每個節點部署2個clickhouse實例和一個zookeeper。另外增加一臺虛擬機用來部署chproxy，用做負載均衡和讀寫分離。具體部署規劃如下：

部署服務	實例名稱	節點ip	端口	備注
zookeeper	zk-01	10.9.135.37	2181
	zk-02	10.9.135.133	2181
	zk-03	10.9.135.36	2181
clikehouse	ck-01	10.9.135.37	8123	分片1副本1
	ck-02	10.9.135.133	8123	分片2副本1
	ck-03	10.9.135.36	8123	分片3副本1
	ck-04	10.9.135.133	8223	分片1副本2
	ck-05	10.9.135.36	8223	分片2副本2
	ck-06	10.9.135.37	8223	分片3副本2
chproxy	chproxy	10.9.135.60	9090

2.2準備工作

1. --修改hostname  
2. sudo hostnamectl set-hostname ck01  
3. sudo hostnamectl set-hostname ck02  
4. sudo hostnamectl set-hostname ck03  
5.   
6. --hosts配置  
7. 10.9.135.37 ck01  
8. 10.9.135.133 ck02  
9. 10.9.135.36 ck03  
10.   
11. --關閉防火墻  
12. # 1.關閉防火墻   
13. service iptables stop   
14. chkconfig iptables off  
15. chkconfig ip6tables off  
16.    
17. # 2.關閉selinux  
18. vi /etc/sysconfig/selinux  
19. 修改內容：【SELINUX=disabled】  
20.       
21. --免密登錄  
22. 1、在原機器生成RSA密鑰和公鑰  
23. ssh-keygen -q -t rsa  -N "" -f  ~/.ssh/id_rsa  
24. 2、然后將~/.ssh/id_rsa.pub內容粘貼到目標機器的~/.ssh/authorized_keys  

2.3jdk安裝部署

1. --安裝包解壓并修改配置文件：  
2. export JAVA_HOME=/usr/java/jdk1.8  
3. export JRE_HOME=$JAVA_HOME/jre  
4. export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH  
5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 

2.4zookeeper安裝部署

1. --安裝zk  
2. wget http://archive.apache.org/dist/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz  
3. mv /data/apache-zookeeper-3.6.0-bin /usr/local/zookeeper  
4. --創建目錄：  
5. mkdir -p /data/zookeeper/data  
6. mkdir -p /data/zookeeper/logs  
7. 機器1指定節點號1，以此類推：  
8. echo '1' > /data/zookeeper/data/myid  
9. 修改zoo.cfg文件，內容如下：  
10. --------------------------------------------------  
11. # 基本時間單位, 毫秒值  
12. tickTime=2000  
13.   
14. # tickTime的倍數，follower和leader之間的最長心跳時間  
15. initLimit=30000  
16.   
17. # tickTime的倍數，leader和follower之間發送消息, 請求和應答的最大時間  
18. syncLimit=10  
19. # 數據目錄  
20. dataDir=/data/zookeeper/data  
21.   
22. # 日志目錄，如果沒設定，默認和dataDir相同  
23. dataLogDir=/data/zookeeper/logs  
24.   
25. # 監聽client連接的端口號  
26. clientPort=2181  
27.   
28. # zookeeper最大連接  
29. maxClientCnxns=2000  
30.   
31. # 最大的會話超時時間  
32. maxSessionTimeout=60000000  
33.   
34. # 保留的文件數目，默認3個  
35. autopurge.snapRetainCount=10  
36.   
37. # 自動清理snapshot和事務日志，清理頻率，單位是小時  
38. autopurge.purgeInterval=1  
39.   
40. # 等待處理的最大請求數量  
41. globalOutstandingLimit=200  
42.   
43. # 日志文件大小Kb，切換快照生成日志  
44. preAllocSize=131072  
45.   
46. #兩次事務快照之間可執行事務的次數，默認的配置值為100000  
47. snapCount=3000000  
48.   
49. # leader是否接受client請求,默認為yes即leader可以接受client的連接，當節點數為>3