- 一、LVS-DR集群介紹
- 1.1 LVS-DR 工作原理
- 1.2 數據包流向分析
- 1.3 LVS-DR 模式的特點
- 1.4 LVS-DR中的ARP問題
- 1.4.1 問題一
- 1.4.2 問題二
- 二、構建LVS-DR集群
- 2.1 構建LVS-DR集群的步驟(理論)
- 1.配置負載調度器(192.168.80.30)
- (1)配置虛擬 IP 地址(VIP:192.168.80.188)
- (2)調整 proc 響應參數
- (3)配置負載分配策略
- 2.部署共享存儲(NFS服務器:192.168.80.40)
- 3.配置節點服務器(192.168.80.10、192.168.80.20)
- (1)配置虛擬 IP 地址(VIP:192.168.80.188)
- (2)調整 proc 響應參數
- 4.測試 LVS 群集
- 2.2 構建LVS-DR集群操作的具體步驟(實操)
- 1.web1配置如下
一、LVS-DR集群介紹
LVS-DR(Linux Virtual Server Director Server)工作模式,是生產環境中最常用的一 種工作模式。
1.1 LVS-DR 工作原理
LVS-DR 模式,Director Server 作為群集的訪問入口,不作為網關使用,節點 Director Server 與 Real Server 需要在同一個網絡中,返回給客戶端的數據不需要經過 Director Server。為了響應對整個群集的訪問,Director Server 與 Real Server 都需要配置 VIP 地址。
工作原理如下圖所示:
1.2 數據包流向分析
客戶端發送請求到 Director Server,請求的數據報文(源 IP 是 CIP,目標 IP 是 VIP) 到達內核空間。
Director Server 和 Real Server 在同一個網絡中,數據通過二層數據鏈路層來傳輸。
內核空間判斷數據包的目標 IP 是本機 VIP,此時 IPVS 比對數據包請求的服務是否是集群服務,是集群服務就重新封裝數據包。修改源 MAC 地址為 Director Server 的 MAC 地址,修改目標 MAC 地址為 Real Server 的 MAC 地址,源 IP 地址與目標 IP 地址沒有改 變,然后將數據包發送給 Real Server。
到達 Real Server 的請求報文的 MAC 地址是自身的 MAC 地址,就接收此報文。數 據包重新封裝報文(源 IP 地址為 VIP,目標 IP 為 CIP),將響應報文通過 lo 接口傳送給物理 網卡然后向外發出。
Real Server 直接將響應報文傳送到客戶端。
1.3 LVS-DR 模式的特點
Director Server 和 Real Server 必須在同一個物理網絡中。
Real Server 可以使用私有地址,也可以使用公網地址。如果使用公網地址,可以通過 互聯網對 RIP 進行直接訪問。
所有的請求報文經由 Director Server,但回復響應報文不能經過 Director Server。
Real Server 的網關不允許指向 Director Server IP,即不允許數據包經過 Director S erver。
Real Server 上的 lo 接口配置 VIP 的 IP 地址。
1.4 LVS-DR中RP問題
1.4.1 問題一
在LVS-DR負載均衡集群中,負載均衡器與節點服務器都要配置相同的VIP地址,在局域網中具有相同的IP地址。勢必會造成各服務器ARP通信的紊亂
當ARP廣播發送到LVS-DR集群時,因為負載均衡器和節點服務器都是連接到相同的網絡上,它們都會接收到ARP廣播
只有前端的負載均衡器進行響應,其他節點服務器不應該響應ARP廣播
解決方法:
對節點服務器進行處理,使其不響應針對VIP的ARP請求
使用虛接口lo:0承載VIP地址
設置內核參數arp_ ignore=1: 系統只響應目的IP為本地IP的ARP請求
1.4.2 問題二
問題說明:RealServer返回報文(源IP是VIP)經路由器轉發,重新封裝報文時,需要先獲取路由器的MAC地址,發送ARP請求時,Linux默認使用IP包的源IP地址(即VIP)作為ARP請求包中的源IP地址,而不使用發送接口的IP地址,路由器收到ARP請求后,將更新ARP表項,原有的VIP對應Director的MAC地址會被更新為VIP對應RealServer的MAC地址。
路由器根據ARP表項,會將新來的請求報文轉發給RealServer,導致Director的VIP失效
解決方法:
對節點服務器進行處理,設置內核參數arp_announce=2:系統不使用IP包的源地址來設置ARP請求的源地址,而選擇發送接口的IP地址
二、構建LVS-DR集群
2.1 構建LVS-DR集群的步驟(理論)
實驗環境準備:
DR 服務器:192.168.80.30
Web 服務器1:192.168.80.10
Web 服務器2:192.168.80.20
NFS共享服務器:192.168.80.40
vip:192.168.80.188
客戶端:192.168.80.200
1.配置負載調度器(192.168.80.30)
systemctl stop firewalld.service
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm
(1)配置虛擬 IP 地址(VIP:192.168.80.188)
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0 #若隧道模式,復制為ifcfg-tunl0(小寫字母l)
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes #開機自動激活
IPADDR=192.168.80.188
NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
route add -host 192.168.80.188 dev ens33:0
(2)調整 proc 響應參數
由于 LVS 負載調度器和各節點需要共用 VIP 地址,應該關閉Linux 內核的重定向參數響應。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
(3)配置負載分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?#保存策略
systemctl start ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.98.70:80 -s rr? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #添加虛擬服務器
ipvsadm -a -t 192.168.98.70:80 -r 192.168.80.80:80 -g? ? ? ? ? #若隧道模式,-g替換為-i
ipvsadm -a -t 192.168.98.70:80 -r 192.168.80.90:80 -g? ? ? ? ? #添加真實服務器
ipvsadm? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?#激活
ipvsadm -ln? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #查看節點狀態,Route代表 DR模式
2.部署共享存儲(NFS服務器:192.168.80.40)
systemctl stop firewalld.service
setenforce 0
yum -y install nfs-utils rpcbind
mkdir /opt/kgc /opt/benet
chmod 777 /opt/kgc /opt/benet
vim /etc/exports
/opt/kgc 192.168.80.0/24(rw,sync)
/opt/benet 192.168.80.0/24(rw,sync)
systemctl start nfs.service
systemctl start rpcbind.service
3.配置節點服務器(192.168.80.10、192.168.80.20)
systemctl stop firewalld.service
setenforce 0
(1)配置虛擬 IP 地址(VIP:192.168.80.188)
###此地址僅用作發送Web響應數據包的源地址,并不需要監聽客戶機的訪問請求(改由調度器監聽并分發)。因此使用虛接口lo:0來承載VIP地址,并為本機添加一條路由記錄,將訪問VIP的數據限制在本地,以避免通信紊亂。
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.80.188 #和VIP保持一致
NETMASK=255.255.255.255 #注意:子網掩碼必須全為 1
ifup lo:0
ifconfig lo:0
route add -host 192.168.80.188 dev lo:0 #添加VIP本地訪問路由,將訪問VIP的數據限制在本地,以避免通信紊亂
vim /etc/rc.local
/sbin/route add -host 192.168.80.188 dev lo:0
(2)調整 proc 響應參數
vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1 #系統只響應目的IP為本地IP的ARP請求
net.ipv4.conf.lo.arp_announce = 2 #系統不使用IP包的源地址來設置ARP請求的源地址,而選擇發送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
或者 臨時添加
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl start httpd
--192.168.80.10---
mount.nfs 192.168.80.40:/opt/kgc /var/www/html
echo 'this is kgc web!' > /var/www/html/index.html
--192.168.80.20---
mount.nfs 192.168.80.40:/opt/benet /var/www/html
echo 'this is benet web!' > /var/www/html/index.html
4.測試 LVS 群集
在客戶端使用瀏覽器訪問 http://192.168.80.188/,默認網關指向192.168.80.188
2.2 構建LVS-DR集群操作的具體步驟(實操)
1.web1配置如下
6.關閉所有服務器的防護墻和selinux
第一步:配置負載調度器(192.168.98.70)
1)加載模塊并安裝管理工具
2)配置虛擬ip
3)開啟虛擬網卡并添加主機路由
4)關閉Linux 內核的重定向參數響應
5)刷新設置
?
6)配置負載分配策略
第二步:部署共享存儲(NFS服務器:192.168.80.40)
1)安裝nfs-utils rpcbind程序(yum源提前配置好)并配置發布目錄和策略
2)發布共享
3)開啟服務并設置開機自啟動
第三步:配置節點服務器(192.168.80.10和192.168.80.20)
1)web1服務器配置如下:
2)開啟接口并為本機添加路由記錄
3)調整 proc 響應參數
4)刷新配置
5)安裝nfs-utils rpcbind httpd
6)開啟服務并查看狀態確認
7)掛載共享目錄并創建本機的html文件
8)在瀏覽器中輸入本機ip進行確認
9)web2服務器配置步驟和web1一致