node1作为反向代理服务器并配置七层代理 
node2和node3作为web站点 
[root@node1 ~]# cat /etc/nginx/conf.d/proxy.conf 
upstream websers{ 
server 192.168.10.20; 
server 192.168.10.30; 
}
server{ 
listen 8080; 
server_name 172.16.0.10:8080; 
    location / { 
    proxy_pass http://websers; 
    }
}

# 默认没有安装四层负载均衡的模块，需要自己安装 
yum install nginx-mod-stream -y 
[root@node1 ~]# cat /etc/nginx/nginx.conf 
user nginx; 
worker_processes auto; 
error_log /var/log/nginx/error.log; 
pid /run/nginx.pid; 
include /usr/share/nginx/modules/*.conf; 
events { 
worker_connections 1024; 
}
stream { 
  upstream sshsers{ 
    server 192.168.10.20:22; 
    server 192.168.10.30:22; 
    least_conn; 
  }
  server{ 
    listen 172.16.0.10:22222; 
    proxy_pass sshsers; 
  }
}

[root@node1 ~]# yum install haproxy -y 
/etc/haproxy/haproxy.cfg # 主配置文件 
/usr/lib/systemd/system/haproxy.service # 守护进程服务 
默认配置： 
cat /etc/haproxy/haproxy.cfg

# cat /etc/haproxy/haproxy.cfg 
...
backend app 
balance roundrobin 
server app1 192.168.80.20:80 check
（七层负载均衡）

listen mysql_proxy 
bind 0.0.0.0:3306 
mode tcp 
balance source 
server mysqldb1 192.168.80.30:3306 check
（四层负载均衡

listen ssh_proxy 
bind *:22222 
mode tcp 
balance roundrobin 
server sshserver1 192.168.80.20:22 check 
server sshserver2 192.168.80.30:22 check 
（四层负载均衡）
注解：check的目的是防止某台服务器挂了之后，还会访问引起报错

DIP:192.168.10.10/24 
VIP:172.16.0.10/16 
RIP1:192.168.10.20 GATEWAY:192.168.10.10 
RIP2:192.168.10.30 GATEWAY:192.168.10.10

1.安装ipvsadm工具 
[root@node1 ~]# yum install ipvsadm -y 
2.打开转发，配置nat 
[root@node1 ~]# echo 1 >> /proc/sys/net/ipv4/ip_forward 
[root@node1 ~]# iptables -t nat -F 
[root@node1 ~]# iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 - 
j MASQUERADE 
3.设置wrr策略和添加RS主机 
[root@node1 ~]# ipvsadm -A -t 172.16.0.10:80 -s wrr 
[root@node1 ~]# ipvsadm -a -t 172.16.0.10:80 -r 192.168.10.20:80 -m -w 1 
[root@node1 ~]# ipvsadm -a -t 172.16.0.10:80 -r 192.168.10.30:80 -m -w 1 
4.查看策略信息 
[root@node1 ~]# ipvsadm -ln 
IP Virtual Server version 1.2.1 (size=4096) 
Prot LocalAddress:Port Scheduler Flags 
-> RemoteAddress:Port Forward Weight ActiveConn InActConn 
TCP 172.16.0.10:80 wrr 
-> 192.168.10.20:80 Masq 1 0 0 
-> 192.168.10.30:80 Masq 1 0 0

# RS的网关必须指向DS 
[root@node2 ~]# echo "RS2" > /usr/share/nginx/html/index.html 
[root@node3 ~]# echo "RS3" > /usr/share/nginx/html/index.html 
[root@node1 ~]# curl 172.16.0.10 
RS1 
[root@node1 ~]# curl 172.16.0.10 
RS2 
注意：selinux策略和防火墙！

ipvsadm： 
管理集群服务 
      添加：-A -t|u|f service-address [-s scheduler] 
            -t: TCP协议的集群 
            -u: UDP协议的集群 
            service-address: IP:PORT 
            -f: FWM: 防火墙标记 
            service-address: Mark Number 
      修改：-E 
      删除：-D -t|u|f service-address 
管理集群服务中的RS 
      添加：-a -t|u|f service-address -r server-address [-g|i|m] [-w weight] 
            -t|u|f service-address：事先定义好的某集群服务 
            -r server-address: 某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射； 
            [-g|i|m]: LVS类型 
            -g: DR模型 
            -i: TUN模型 
            -m: NAT模型 
            [-w weight]: 定义服务器权重 
      修改：-e 
      删除：-d -t|u|f service-address -r server-address 
      查看 
            -L|l 
            -n: 数字格式显示主机地址和端口 
            --stats：统计数据 
            --rate: 速率 
            --timeout: 显示tcp、tcpfin和udp的会话超时时长 
            -c: 显示当前的ipvs连接状况 
            删除所有集群服务 
            -C：清空ipvs规则 
保存规则
      -S
      # ipvsadm -S > /path/to/somefile 
      载入此前的规则： 
      -R
      # ipvsadm -R < /path/form/somefile

DIP:192.168.80.10/24 
RIP1:192.168.80.20 
RIP2:192.168.80.30 
VIP:192.168.80.100

[root@node1 ~]# ifconfig ens33:0 192.168.80.100 broadcast 192.168.80.255 
netmask 255.255.255.0 up 
[root@node1 ~]# route add -host 192.168.80.100 dev ens33:0 
[root@node1 ~]# ipvsadm -A -t 192.168.80.100:80 -s wrr 
[root@node1 ~]# ipvsadm -a -t 192.168.80.100:80 -r 192.168.80.20:80 -g -w 2 
[root@node1 ~]# ipvsadm -a -t 192.168.80.100:80 -r 192.168.10.30:80 -g -w 1

[root@node2 ~]# cat rs.sh 
#!/bin/bash 
vip=192.168.80.100 
ifconfig lo:0 $vip broadcast 192.168.80.255 netmask 255.255.255.255 up 
route add -host $vip lo:0 
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce 
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce 
在所有RS上部署！

yum install keepalived -y

global_defs {
     notification_email { #设置报警邮件地址即报警邮件接收者，可设置多个，每行一个；如果要开启邮件报警功能，需要开启本机的postfix或者sendmail服务；
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc #用于设置邮件的发送地址，即报警邮件发送者；
   smtp_server 192.168.200.1 #用于设置邮件的SMTP Server地址
   smtp_connect_timeout 30  #设置连接SMTP Server的超时时间；
   router_id LVS_DEVEL  #表示运行keepalived服务器的一个标识，是发邮件时显示在邮件主题中的信息
}

vrrp_sync_group G1 {#G1同步组包含VI_1，VI_2，VI_5三个VRRP实例，G2同步组包含VI_3，VI_4两个实例，这5个实例将在vrrp_instance段进行定义
group {
    VI_1
    VI_2
    VI_5
   }
    notify_backup "/usr/local/bin/vrrp.bak arg1 arg2"  #指定当keepalived进入MASTER状态时要执行的脚本，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本，允许传入参数；
    notify_master "/usr/local/bin/vrrp.mast arg1 arg2"  #指定当keepalived进入BACKUP状态时要执行的脚本；
    notify_fault "/usr/local/bin/vrrp.fault arg1 arg2"  #指定当keepalived进入FAULT状态时要执行的脚本；
    notify_stop "/usr/local/bin/vrrp.stop arg1 arg2"  #指定当keepalived程序终止时需要执行的脚本；
  }
vrrp_sync_group G2 {
    group {
    VI_3
    VI_4
     }
  }

vrrp_instance VI_1 { 
    state MASTER #用于指定keepalived的角色，MASTER表示主服务器，BACKUP表示备用服务器；
    interface eth0 #用于指定HA监测网络的接口；
    virtual_router_id 51 #虚拟路由标识，是一个数字，同一个VRRP实例使用唯一的标识，即在同一个vrrp_instance下，MASTER和BACKUP必须是一致的；
    priority 100 #节点优先级，数字越大优先级越高(在一个VRRP_instance下，MASTER的优先级必须大于BACKUP的优先级)；
    advert_int 1 #用于设定MASTER与BACKUP主机之间同步检查的时间间隔，单位秒
  mcast_src_ip  #于设置发送多播包的地址，若不设置，将使用绑定网卡对应的IP地址；
  garp_master_delay 10 #用于设置在切换到MASTER状态后延时进行Gratuitous arp请求的时间；
  track_interface { #用于设置一些额外的网络监控接口，其中任何一个接口出现故障，keepalived都会进入FAULT状态；
  eth0
  eth1
  }
    authentication {#用于设定节点间通信验证码类型和密码 ,主要类型有PASS和AH两种，在一个vrrp_instance下，MASTER和BACKUP必须使用相同的密码才能正常通信；
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {#用于设置虚拟IP地址(VIP)，可设置多个，每行一个；keepalived通过ip address add命令的形式将VIP添加进系统中，而且IP形式可多样；
        192.168.200.16
        192.168.200.17 dev eth1
        192.168.200.18 dev eth2
    }
  virtual_routers {#用来设置在切换时添加或删除相关路由信息；
  src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
  192.168.110.0/24 via 192.168.200.254 dev eth1
  192.168.111.0/24 dev eth2
  192.168.112.0/24 via 192.168.100.254
  192.168.113.0/24 via 192.168.100.252 or 192.168.100.253
  }
  nopreempt #设置高可用集群不抢占功能；在使用不抢占时，只能在state状态为BACKUP的节点上设置，而且这个节点的优先级必须高于其他节点
  preemtp_delay 300 #用于设置抢占的延时时间，单位秒，如系统启动或重启之后网络需要经过一段时间才能正常工作，这时进行主备切换是没有必要的，此选项就是来设置这种情况发生的时间间隔；
}

virtual_server 192.168.200.100 443 { #集群所使用的VIP和端口
    delay_loop 6                    #健康检查间隔，单位为秒
    lb_algo rr                      #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
    nat_mask 255.255.255.0          #VIP掩码
    lb_kind NAT                     #负载均衡转发规则。一般包括DR,NAT,TUN 3种
    persistence_timeout 50          #会话保持时间，会话保持，就是把用户请求转发给同一个服务器，不然刚在1上提交完帐号密码，就跳转到另一台服务器2上了
    protocol TCP                    #转发协议，有TCP和UDP两种，一般用TCP，没用过UDP
    persistence_granularity <NETMASK> #lvs会话保持粒度
 
    real_server 192.168.201.100 443 { #真实服务器，包括IP和端口号
        weight 1                    #默认为1,0为失效
        inhibit_on_failure          #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除
        notify_up <string> | <quoted-string> #在检测到server up后执行脚本
        notify_down <string> | <quoted-string> #在检测到server down后执行脚本
 
        TCP_CHECK {                 #通过tcpcheck判断RealServer的健康状态
            connect_timeout 3       #连接超时时间
            nb_get_retry 3          #重连次数
            delay_before_retry 3    #重连间隔时间
            connect_port 23         健康检查的端口的端口
            bindto <ip>  
        }
           
        HTTP_GET | SSL_GET {        #健康检测方式，可选有 SSL_GET、TCP_CHECK、HTTP_GET
            url {                   #检查url，可以指定多个
              path /                #检查的url路径
              digest ff20ad2481f97b1754ef3e12ecd3a9cc  #需要检查到的内容。检查后的摘要信息。
              status_code 200       #检查的返回状态码
            }
            url {
              path /mrtg/
              digest 9b3a0c85a887a256d6939da88aabd8cd
            }
            connect_timeout 3       #连接超时时间
            nb_get_retry 3          #检测尝试几次
            delay_before_retry 3    #检测的时间间隔
        }
    }
}