LVS 负载均衡之NAT模式 原理与实践
  mJ3y71vHJ0RC 2023年11月12日 17 0


LVS 负载均衡之NAT模式 原理与实践_服务器

 

LVS负载均衡工作原理

实现LVS负载均衡转发方式有三种，分别为NAT、DR、TUN模式，LVS均衡算法包括：RR(round-robin)、LC(least_connection)、W(weight)RR、WLC模式等（RR为轮询模式，LC为最少连接模式）。

 

LVS/NAT

重点理解NAT方式的实现原理和数据包的改变。

用户请求LVS VIP到达director（LVS服务器：LB），director（LVS服务器）将请求的报文（因为用户的请求有一个请求报文，也就是请求包里面，请求包里面有一个目标IP地址）的目标IP地址（目标IP地址是LVS的VIP）改成后端的realserver IP地址（因为LVS不能像nginx提供静态资源解析，所以LVS要串改报文当中的目标IP，改为后端随机一台nginx的IP），同时将报文的目标端口也改成后端选定的realserver相应端口，最后将报文发送到realserver，realserver将数据返给director，director再把数据发送给用户。（两次请求都经过director，所以访问大的话，director会成为瓶颈）。 

LVS 负载均衡之NAT模式 原理与实践_服务器_02

 (1) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(3) IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
(4) POSTROUTING链通过选路，将数据包发送给Real Server
(5) Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
(6) Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

LVS/NAT模型的特性

  • RS应该使用私有地址，RS的网关必须指向DIP
  • DIP和RIP必须在同一个网段内
  • 请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
  • 支持端口映射
  • RS可以使用任意操作系统
  • 缺陷：对Director Server压力会比较大，请求和响应都需经过director server

NAT（Network Address Translation 网络地址转换）是一种外网和内外地址映射的技术，内网可以是私有网址，外网可以使用NAT方法修改数据报头，让外网与内网能够互相通信。NAT模式下，网络数据报的进出都要经过LVS的处理。LVS需作为RS（真实服务器）的网关。当包到达LVS时，LVS做目标地址转换（DNAT），将目标IP改为RS的IP。RS接收到包以后，仿佛是客户端直接发给它的一样。RS处理完，返回响应时，源IP是RS IP，目标IP是客户端的IP。这时RS的包通过网（LVS）中转，LVS会做源地址转换（SNAT），将包的源地址改为VIP，这样，这个包对客户端看起来就仿佛是LVS直接返回给它的。客户端无法感知到后端RS的存在。

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；
（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；
（3）支持端口映射，可修改请求报文的目标PORT；
（4）vs必须是Linux系统，rs可以是任意系统；

缺点：在整个过程中，所有输入输出的流量都要经过LVS 调度服务器。显然，LVS 调度服务器的网络I/O压力将会非常大，因此很容易成为瓶颈，特别是对于请求流量很小，而响应流量很大的Web类应用来说尤为如此。

优点：NAT模式的优点在于配置及管理简单，由于了使用NAT技术，LVS 调度器及应用服务器可以在不同网段中，网络架构更灵活，应用服务器只需要进行简单的网络设定即可加入集群。

 

LVS NAT模式实战

环境如下，系统为Centos7.X 

Server1

192.168.179.102

LVS

Server2

192.168.179.103

Server1 Nginx

Server3

192.168.179.104

Server2 Nginx

LVS：192.168.179.102 :安装ipvsadm软件包通过命令ipvsadm来管理ip_vs模块

[root@localhost ~]# yum install ipvsadm -y  #通过ipvsadm来管理ip_vs模块
[root@localhost ~]# lsmod | grep -i ip_vs
[root@localhost ~]# modprobe ip_vs   #加载ip_vs模块，如果不加载就实现不了负载均衡了
[root@localhost ~]# lsmod | grep -i ip_vs
ip_vs                 141092  0 
nf_conntrack          133387  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

LVS上配置网卡：内网网卡：ens32: 192.168.179.102（和后端Nginx在一个网段）   外网网卡：ens34：172.20.2.120（提供VIP服务）

[root@localhost ~]# ip a
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:0e:1a:bf brd ff:ff:ff:ff:ff:ff
    inet 192.168.179.102/24 brd 192.168.179.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::2d42:a0b1:1cdc:74c0/64 scope link 
       valid_lft forever preferred_lft forever
3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:0e:1a:c9 brd ff:ff:ff:ff:ff:ff
    inet 172.20.2.120/24 brd 172.20.2.255 scope global dynamic ens34
       valid_lft 6238sec preferred_lft 6238sec
    inet6 fe80::1047:3c34:2b9f:50e8/64 scope link 
       valid_lft forever preferred_lft forever

LVS 负载均衡之NAT模式 原理与实践_lvs_03

LVS配置路由转发功能（实现负载均衡）

#ipvsadm  -A 代表添加VIP -t代表TCP协议 -s指定算法 rr轮询模式
[root@localhost ~]# ipvsadm -A -t 172.20.2.120:80 -s rr
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr

#-a表示在VIP集群当中添加后端服务器真实IP  -r表示real server  -m表示NAT 模式 -g表示DR模式 -w表示权重（在虚拟集群172.20.2.120:80中，加入后端Realserver服务器192.168.179.103:80）
[root@localhost ~]# ipvsadm -a -t 172.20.2.120:80 -r 192.168.179.103:80 -m -w 100
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          0 

-a，往虚拟服务器集群中添加真实服务器；
-t，TCP协议；
-r，指定后端realserver服务器的IP和端口；
-m，指定NAT转发模式；
-w，weight权重设置；

#该文件内容为0，表示禁止数据包转发，1表示允许，将其修改为1。（LVS NAT模式能够实现数据转发，还要依靠Linux内核开启转发功能，所以需要如下设置）
[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
0
[root@localhost ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
1
#修改网关地址即下一跳地址为LVS内网网卡的地址（192.168.179.103 Realserver服务器的网关设置为LVS服务器的内网网卡IP地址192.168.179.102）
[root@real-server1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 
GATEWAY=192.168.179.102
[root@real-server1 ~]# systemctl restart network

[root@real-server1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.179.102 0.0.0.0         UG    100    0        0 ens32

LVS 负载均衡之NAT模式 原理与实践_lvs_04

#查看LVS NAT模式集群配置信息，下所示：
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          2  

Forward: 转发方式，当前是路由转发
Weight: 权重
ActiveConn: 当前活跃的连接数
InActConn: 当前不活跃的连接数

如果需要中途加入一台Nginx，比如192.168.179.104这台Nginx,操作如下，和上面方法一样

#LVS 192.168.179.102上
[root@localhost ~]# ipvsadm -a -t 172.20.2.120:80 -r 192.168.179.104:80 -m -w 100
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          0         
  -> 192.168.179.104:80           Masq    100    0          0         



#Nginx 192.168.179.104
[root@real-server2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 
GATEWAY=192.168.179.102
[root@real-server2 ~]# systemctl restart network
[root@real-server2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.179.102 0.0.0.0         UG    100    0        0 ens32
192.168.179.0   0.0.0.0         255.255.255.0   U     100    0        0 ens32

LVS 负载均衡之NAT模式 原理与实践_ip地址_05

未结合Keepalived实现对后端节点进行健康检查

[root@real-server1 ~]# pkill nginx

#如果你将后端一台Nginx下线了，LVS并不会对后端的real server做健康检查，可以看到需要配合keepalived来使用
[root@localhost ~]# tail -f /var/log/messages
#列表当中的192.168.179.104节点并未踢出后端的real server集群
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          3         
  -> 192.168.179.104:80           Masq    100    1          29  
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.20.2.120:80 rr
  -> 192.168.179.103:80           Masq    100    0          1         
  -> 192.168.179.104:80           Masq    100    0          1

 

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载，内容版权归原作者所有。本网站的目的在于传递更多信息，不拥有版权，亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@moduyun.com
  1. 分享：
最后一次编辑于 2023年11月12日 0

暂无评论

推荐阅读
  2nTRIltqfA7y   2023年12月23日   16   0   0 nginxhtml服务器服务器htmlnginx
  g4TJ7lOa2sg2   2023年12月23日   46   0   0 服务器应用程序数据中心应用程序服务器数据中心海外服务器海外服务器
  ehrZuhofWJiC   21天前   13   0   0 服务器
  rWgDHz1n5dfs   2023年12月23日   22   0   0 nginx长连接TCPkeepalivekeepaliveTCP长连接nginx
  ehrZuhofWJiC   21天前   19   0   0 目录nginx
  GlkGUhBxsw3T   2023年12月23日   61   0   0 redisIPnginxlualuaredis灰度IPnginx灰度
  ehrZuhofWJiC   21天前   17   0   0 服务器前端servlet
  ehrZuhofWJiC   21天前   19   0   0 运维springboot服务器
  CYFozBbS5Dub   2023年12月23日   14   0   0 服务器服务器
  usxROWR7VbkO   2023年12月23日   13   0   0 nginxhtmldockerdockerhtmlnginx
  ehrZuhofWJiC   21天前   23   0   0 Java服务器前端
  ehrZuhofWJiC   21天前   19   0   0 服务器tomcatservlet
  ehrZuhofWJiC   2024年03月22日   43   0   0 服务器前端javascript
  CYFozBbS5Dub   2023年12月11日   13   0   0 mysqlmysql服务器服务器sql文件sql文件
  5Z3ofXScm8Wf   2023年12月23日   52   0   0 网络接口网络接口服务器虚拟化服务器虚拟化
  ehrZuhofWJiC   21天前   20   0   0 nginx
  CYFozBbS5Dub   2023年12月23日   21   0   0 热插拔服务器热插拔服务器
  ehrZuhofWJiC   2024年03月22日   46   0   0 网络服务器linux
mJ3y71vHJ0RC
mJ3y71vHJ0RC
作者其他文章 更多
JavaScript 条件语句之switch

2023-12-22

JavaScript if...else语句

2023-12-19

Golang channle（管道）基本介绍、快速入门

2023-12-19

Vue 理解MVVM设计模式

2023-12-19

JavaScript 语句、标识符、变量

2023-12-07

关系选择器

2023-12-07

JavaScript库：jQuery，简化编程

2023-12-07

Vue 模板语法 v-bind

2023-12-07

jQuery Ajax前后端数据交互

2023-12-07

Golang 协程、主线程

2023-12-07

最新推荐 更多
Nginx配置多个项目使用同一端口号的办法

2024-04-26

三层架构，MVC，与ssm的系统架构关系

2024-04-26

银行营业网点管理系统——entity类（Branches）

2024-04-26

Tomcat虚拟目录的配置方法

2024-04-26

银行营业网点管理系统——修改的页面(updateBreaches.jsp)

2024-04-26

一台电脑有多少个硬盘分区就能装多少个系统

2024-04-26

二次封装logging模块，做好日志记录

2024-04-26

Playwright系列: 第2章 环境安装与配置安装

2024-04-26

jenkins系统管理（一）-管理用户、管理插件

2024-04-26

在服务器上启动springboot项目

2024-04-26

会话跟踪方案对比

2024-04-26

免安装版MySQL数据库的安装和卸载

2024-04-26

JAVA日志技术 & Logback

2024-04-26

记录一次多数据源配置失效的情况

2024-04-26

linux使用shell脚本循环执行

2024-04-26

Windows Server服务器重置RDS宽限期

2024-04-26

Powershell操作系统注册表方法-17

2024-04-26

Citrix Workspace 防截屏功能配置

2024-04-26

Linux操作系统介绍-01

2024-04-26

Xenserver批量创建磁盘并挂载给虚拟机

2024-04-26

常用标签
数据数据数据数据javalinuxlinuxpythonCentOSredisJava区块链技术python区块链信息系统字符串MySQL资讯项目管理mysql教程MySQL