lvs简介

LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

LVS相关术语

DS：Director Server。指的是前端负载均衡器节点
RS：Real Server。后端真实的工作服务器
VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址
DIP：Director Server IP，主要用于和内部主机通讯的IP地址
RIP：Real Server IP，后端服务器的IP地址
CIP：Client IP，访问客户端的IP地址

集群分类

高性能计算集群HPC
- 通过以集群开发的并发应用程序,解决复杂的科学问题
负载均衡(LB)集群
- 客户端负载在计算机集群中尽可能平均分摊
高可用(HA)集群
- 避免单点故障,当一个系统发生故障时,可以快速迁移

lvs调度器

lvs scheduler：lvs调度器，即lvs挑选RS的算法
静态方法：仅根据算法本身进行调度

RR：round robin，轮调、轮询
WRR：weighted rr，加权的rr，根据一定的比例进行轮调，比如每次RS1给2个请求，RS2给1个请求
SH：source hash，源地址hash，实现session保持的机制，将来自于同一个IP的请求始终调度至同一RS，每个服务单独调度
DH：destination hash，目标地址hash，将对同一个目标（资源）的请求始终发往同一个RS

动态方法：根据算法及各RS的当前负载状态进行调度，根据指定的算法算出overhead（负载），最终挑选出overhead值最小的则为被选中的RS

LC：Least Connection，最少连接数，算法如下：
- overhead = Active * 256 + Inactive
WLC：Weighted LC，加权的LC，算法如下：
- overhead=（Active*256+Inactive）/ weight
SED：Shortest Expection Delay，最短期望延迟，算法如下：
- overhead = （Active + 1） * 256 / weight
NQ：Nevel Queue，是SED算法的改进，根据SED算法每台主机第一次至少要均分配一次，然后再按SED算法来挑选
LBLC：Locality-Based LC，基于本地的最少连接数，即为动态的DH算法
正向代理情形下的cache server调度
LBLCR：Locality-Based Least-Connection with Replication，带复制
功能的LBLC算法

lvs工作模式

lvs工作模式分为三种：NAT、TUN、DR

基于NAT模式的LVS负载均衡

NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图2所示，LVS负载调度器可以使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设备为外网IP与外部网络联通。

第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

基于TUN的负载均衡

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

基于DR的LVS负载均衡

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图4所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

DR模式与实现http负载均衡

环境说明：

name	ip
DR	192.168.159.100
RS-1	192.168.159.110
RS-2	192.168.159.120

//LVS上配置IP
[root@dr ~]# ip addr add 192.168.159.250/32 dev ens33
[root@dr ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:a5:28:56 brd ff:ff:ff:ff:ff:ff
    inet 192.168.159.100/24 brd 192.168.159.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.159.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::a3ab:45fa:8544:fdce/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

//RS上配置arp内核参数
[root@rs-1 ~]# vim /etc/sysctl.conf 
#添加以下两行
net.ipv4.conf.all.arp_ignore = 1	// 将对应网卡设置为只回应目标IP为自身接口地址的ARP请求
net.ipv4.conf.all.arp_announce = 2	// 将ARP请求的源IP设置为eth0上的IP，也就是RIP
[root@rs-1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

[root@rs-2 ~]# echo 'net.ipv4.conf.all.arp_ignore = 1' >> /etc/sysctl.conf 
[root@rs-2 ~]# echo 'net.ipv4.conf.all.arp_announce = 2' >> /etc/sysctl.conf 
[root@rs-2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2


一定要先设置好内核参数在配置VIP，如果先配置VIP，VIP配置好后会立即通告给所有人，而修改内核参数就是为了不通告

LVS服务器的ens33网卡的IP:192.168.159.250作为VIP

//RS上配置VIP
[root@rs-1 ~] ip addr add 192.168.159.250/32 dev lo
[root@rs-2 ~] ip addr add 192.168.159.250/32 dev lo
[root@rs-1 ~]# route add -host 192.168.159.250/32 dev lo
[root@rs-2 ~]# route add -host 192.168.159.250/32 dev lo
#永久配置
echo '192.168.159.250/32 via dev lo' > /etc/sysconfig/network-scripts/route-lo


//DR上配置lvs-dr转发规则
[root@dr ~]# yum -y install ipvsadm

[root@dr ~]# ipvsadm -A -t 192.168.159.250:80 -s rr
[root@dr ~]# ipvsadm -a -t 192.168.159.250:80 -r 192.168.159.110:80 -g
[root@dr ~]# ipvsadm -a -t 192.168.159.250:80 -r 192.168.159.120:80 -g
[root@dr ~]# ipvsadm -Sn
-A -t 192.168.159.250:80 -s rr
-a -t 192.168.159.250:80 -r 192.168.159.110:80 -m -w 1
-a -t 192.168.159.250:80 -r 192.168.159.120:80 -m -w 1

[root@dr ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@dr ~]# ipvsadm-save ipvsadm

//配置httpd
//防火墙与selinux默认关闭状态
[root@rs-1 ~]# yum -y install httpd
[root@rs-1 ~]# echo 'rs1' > /var/www/html/index.html
[root@rs-1 ~]# systemctl start httpd

[root@rs-2 ~]# yum -y install httpd
[root@rs-2 ~]# echo 'rs2' > /var/www/html/index.html
[root@rs-2 ~]# systemctl start httpd

//客户端访问
[root@localhost ~]# for i in $(seq 2);do curl 192.168.159.250:80;done
rs2
rs1

NAT模式实现负载均衡