LVS+Keepalived 实现高可用负载均衡集群

随着网站业务量的增长，网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如 F5 ，Array又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时还需要实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？有！我们利用LVS+Keepalivd基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

LVS+Keepalived 介绍

1. LVS

   LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。1998 年5 月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）

2. Keepalvied

   Keepalived 采用VRRP（Virtual Router Redundancy Protocal，虚拟路由冗余协议）热备份协议，以软件的形式实现Linux服务器的多机热备功能 主要用来提供failover（故障转移），和健康状态检查（Health Checking）功能，判断调度器（LoadBalance）主机、Backup主机、RealServer主机的可用性，及时隔离并替换为新的服务器，当故障主机恢复后将其重新加入集群。

Keepalvied 官网：http://www.keepalived.org

热备组: 通过共用的虚拟ip地址向外提供服务，同时只能有一个主机向外提供服务，其他处于冗余状态，当主出现故障时，根据优先级决定替换顺序，VIP漂移

IP 信息列表：

名称 IP LVS-DR-Master 192.168.200.101 LVS-DR-BACKUP 192.168.200.102 LVS-DR-VIP 192.168.200.254 WEB1-Realserver 192.168.200.103 WEB2-Realserver 192.168.200.104

安装

master和backup主机安装 LVS和 Keepalvied软件包

yum -y install ipvsadm kernel-devel openssl-devel popt-devel

注：一定要与当前的运行的内核一致，因为 /usr/src/kernels目录下可有多个内核。否则在编译 keepalived 时会出错，从而不能继续进行安装外，还会使keepalived 启动后功能失效

tar xf keepalived-1.2.13.tar.gz 
cd keepalived-1.2.13
./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.32-504.el6.x86_64/
make
make install

chkconfig --add keepalived
chkconfig keepalived on
chkconfig --list keepalived
service keepalived start|stop     #做成系统启动服务方便管理. 

配置

LVS-DR-Master 配置

设置网卡IP地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]

```
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
HWADDR=00:0c:29:9e:34:af
NETMASK=255.255.255.0
IPADDR=192.168.200.101
TYPE=Ethernet

service network restart
```

配置Keepalived

cd /etc/keepalived
cp keepalived.conf keepalived.conf.bak

vim keepalived.conf
----------------------------------------------------------------------------------------------

! Configuration File for keepalived

global_defs {
   notification_email {	
   crushlinux@163.com		#设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警,需要开启本机的sendmail服务
   }
   notification_email_from root@example.com  	#设置邮件的发送地址
   smtp_server 127.0.0.1						#设置smtp服务器地址
   smtp_connect_timeout 30						#设置连接 smtp 服务器超时时间 
   router_id LVS_MASTER							#运行 Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}

vrrp_instance VI_1 {				#vrrp实例定义部分 			
    state MASTER					#指定 Keepalived 的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器。备份服务器上将 MASTER 改为 BACKUP。 
    interface eth0					#指定 HA监测网络的接口
    virtual_router_id 51			虚拟路由标识，这个标识是一个数字，并且同一个 vrrp 实例使用唯一的标识，即同一个 vrrp_instance下，MASTER 和 BACKUP必须是一致的。（0-255）
    priority 100					#定义优先级，数字越大，优先级越高，在一个 vrrp_instance下，MASTER的优先级必须大于 BACKUP 的优先级。备份服务上将 100 改为 50
    advert_int 1					#设定MASTER 与 BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {				#设定验证类型和密码 
        auth_type PASS				#设置验证类型，主要有 PASS和 AH 两种 
        auth_pass 1111				#设置验证密码，在一个 vrrp_instance下，MASTER 与 BACKUP必须使用相同的密码才能正常通信。
    }
    virtual_ipaddress {				#设置虚拟 IP地址，可以设置多个虚拟IP地址，每行一个 
        192.168.200.254	
    }
}

#虚拟服务器定义部分 
virtual_server 192.168.200.254 80 {		#设置虚拟服务器，需要指定虚拟 ip 地址和服务端口，ip 与
端口之间用空格隔开。 
    delay_loop 6						#设置健康检查时间，单位是秒
    lb_algo rr							#设置负载调度算法，这里设置为 rr，即轮询算法，rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind DR							#设置 LVS实现负载均衡的机制，可以有 NAT、TUN 和 DR三个模式可选。		
    protocol TCP						#指定转发协议类型，有 tcp和 udp 两种

    real_server 192.168.200.103 80 {	#配置服务节点 1，需要指定 real server 的真实IP地址和端口，ip 与端口之间用空格隔开。
        weight 1						#配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的

权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源 
        TCP_CHECK {						#realserve 的状态检测设置部分，单位是秒
            connect_timeout 10			#10秒无响应超时
            nb_get_retry 3				#重试次数
            delay_before_retry 3		#重试间隔 
            connect_port 80				#测试连接的端口 
        }
    }
    real_server 192.168.200.104 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

Master配置

! Configuration File for keepalived

global_defs {
   notification_email {	
   crushlinux@163.com
   }
   notification_email_from root@example.com
   smtp_server 127.0.0.1	
   smtp_connect_timeout 30	
   router_id LVS_MASTER	
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0	
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {	
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.200.254	
    }
}

virtual_server 192.168.200.254 80 {		
    delay_loop 6			
    lb_algo rr			
    lb_kind DR		
    protocol TCP	

    real_server 192.168.200.103 80 {
        weight 1
        TCP_CHECK {	
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.200.104 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }

}

启动

service keepalived restart chkconfig keepalived on

LVS-DR-backup 配置

设置网卡IP地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]

DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
HWADDR=00:0c:29:b0:58:2e
NETMASK=255.255.255.0
IPADDR=192.168.200.102
TYPE=Ethernet

service network restart

配置Keepalived

cd /etc/keepalived
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {	
   crushlinux@163.com
   }
   notification_email_from root@example.com
   smtp_server 127.0.0.1	
   smtp_connect_timeout 30	
   router_id LVS_MASTER	
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0	
    virtual_router_id 51
    priority 50
    advert_int 1
    authentication {	
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.200.254	
    }
}

virtual_server 192.168.200.254 80 {		
    delay_loop 6			
    lb_algo rr			
    lb_kind DR			
    protocol TCP	

    real_server 192.168.200.103 80 {
        weight 1
        TCP_CHECK {	
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.200.104 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }

}

启动

service keepalived restart
chkconfig keepalived on 

配置Realserver

提供应用的 RealServer1 和 RealServer2 不需要安装任何IPVS软件，只需要设置在开机后自动运行以下脚本

在 RealServer1 上的设置

[root@web1 ~]# vim realserver.sh 
#!/bin/bash  
SNS_VIP=192.168.200.254 
. /etc/rc.d/init.d/functions  
case "$1" in  
start)         
	ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP         
	/sbin/route add -host $SNS_VIP dev lo:0         
	echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore         
	echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce         
	echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore         
	echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce         
	sysctl -p >/dev/null 2>&1         
	echo "RealServer Start OK"          
	;;  
stop)         
	ifconfig lo:0 down         
	route del $SNS_VIP >/dev/null 2>&1         
	echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore         
	echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce         
	echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore         
	echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce         
	echo "RealServer Stoped"         
	;;  
*)         
	echo "Usage: $0 {start|stop}"         
exit 1  
esac  
exit 0 


[root@web1 ~]# chmod +x realserver.sh 
[root@web1 ~]# ./realserver.sh start 


yum -y install httpd
echo "realserver1" > /var/www/html/index.html    //在 RealServer1 添加测试页 
servcie httpd restart    //重启 web服务器 

在 RealServer2 上的设置

[root@web2 ~]# vim realserver.sh 
#!/bin/bash  
SNS_VIP=192.168.200.254 
. /etc/rc.d/init.d/functions  
case "$1" in  
start)         
	ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP         
	/sbin/route add -host $SNS_VIP dev lo:0         
	echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore         
	echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce         
	echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore         
	echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce         
	sysctl -p >/dev/null 2>&1         
	echo "RealServer Start OK"          
	;;  
stop)         
	ifconfig lo:0 down         
	route del $SNS_VIP >/dev/null 2>&1         
	echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore         
	echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce         
	echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore         
	echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce         
	echo "RealServer Stoped"         
	;;  
	*)         
	echo "Usage: $0 {start|stop}"         
exit 1  
esac  
exit 0 


[root@web2 ~]# chmod +x realserver.sh 
[root@web2 ~]# ./realserver.sh start 

yum -y install httpd
echo "realserver2" > /var/www/html/index.html    //在 RealServer1 添加测试页 
servcie httpd restart    //重启 web服务器 

测试

启动 keepalived 服务 分别在主、备均衡服务器上启动 keepalived 服务，启动命令为：

service keepalived start   

tail -f /var/log/messages

确定 realserver1 和 realserver2 服务器的 httpd服务启动，页面能正常访问 ，打开浏览器，输入http://192.168.200.254

查看命令

ipvsadm -L –n

测试 HA功能

断掉 LVS-Master 的 eth0 的网络连接或者关闭系统模拟故障发生。

在 LVS-Slave 中观察日志，大约应在 30 秒内 LVS-Slave 接管 LVS-Master 的资源启动 LVS服务。主均衡服务器恢复正常后，必须能够从备份均衡服务器接管资源。

tail -f /var/log/messages    //当 LVS-Master 发生故障后
Nov  7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Nov  7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
Nov  7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov  7 06:05:32 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov  7 06:06:59 www avahi-daemon[3296]: Invalid legacy unicast query packet.
Nov  7 06:06:59 www last message repeated 2 times
Nov  7 06:07:00 www avahi-daemon[3296]: Received response from host 192.168.200.1 with invalid source port 59083 on interface 'eth0.0'
Nov  7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
Nov  7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE

1、 vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip. 2、 vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突。 3、 echo "1",echo "2" 这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称："嗨!我在这里呢!"，这样就乱套了。