Keepalive和lvs

keepalive起初是为LVS设计的，专门用来监控lvs各个服务节点的状态，后来加入了vrrp的功能，因此除了lvs，也可以作为其他服务（nginx，haproxy）的高可用软件。VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。VRRP的出现就是为了解决静态路由出现的单点故障，它能够保证网络可以不间断的稳定的运行。所以keepalive一方面具有LVS cluster node healthcheck功能，另一方面也具有LVS director failover。

keepalive的两大功能：

healthcheck和failover

LVS cluster node healthcheck

keepalive高可用服务原理介绍:

keepalive director高可用之间的故障切换转移，是通过VRRP协议实现的。

在keepalive director工作时，主节点会不断的向备节点发送心跳消息，告知自己还活着，当主节点故障时，备节点无法接收主节点的心跳消息，此时就会启用自身的服务接管程序将主节点的IP和服务资源接管过来。当主节点恢复工作之后，又会释放IP资源和服务，恢复至备节点的角色。

VRRP协议原理简单介绍：

VRRP是通过一种竞选协议协议机制来将路由的任务交给VRRP的路由器。在一VRRP的虚拟路由中，有多台物理的VRRP路由器，但是这多台路由器不同时工作，而是由一台Master负责路由工作，其他的都是backup，master是由backup竞争而来的，当master失去响应时，会从余下的backup中选出master来接管IP地址和服务资源。

VRRP协议的所有报文都是通过IP多播的形式传递消息，在一个虚拟路由器中，只有作为Master的VRRP路由器会一直发送VRRP广播包，当其他backup没有收到广播包时候，会迅速抢占master（谁的有限级高，谁就会抢占成功），处于安全性考虑VRRP协议传输数据时候进行了加密。

VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。

小结：

1，VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。

2，VRRP是通过一种竞选协议协议机制来将路由的任务交给VRRP的路由器。

3，VRRP协议的所有报文都是通过IP多播的形式传递消息

4，处于安全性考虑VRRP协议传输数据时候进行了加密。

官方网站： http://wwwkeepalivedorg/

编译安装yum安装都可

全局配置:

VRRPD 配置:

virtual_server

VRRP同步组

两个vrrp_instance同属于一个vrrp_rsync_group，那么其中一个vrrp_instance发生故障切换时，另一个vrrp_instance也会跟着切换（即使这个instance没有发生故障）。

VRRP实例

1，Round-robin（RR）轮询：当新请求到达时候，从服务列表中选择一个Real Server，将请求重定向给这台Real Server。

2，Weighted round-robin（WRR）加权轮询：给每台Real Server分配一个权重/位列，权重越大，分到的请求数越多。

3，Destination hashing （DH）目标散列：来自于同一个IP地址的请求都被重定向到同一台Real Server上（保证目标地址不变）。

4，Source hashing（SH）源地址散列：Director必须确保响应的数据包必须通过请求数据包所经过的路由器或者防火墙（保证原地址不变）。

动态调度算法：通过检查服务器上当前连接的活动状态来重新决定下一步调度方式该如何实现。

5，Lease Connection （LC） 最少连接 哪一个Real Server上的连接数少就将下一个连接请求定向到那台Real Server上去。

算法：连接数=活动连接数 256+非活动连接数

6，Weight Least-Connection（WLC） 加权最少连接 在最少连接的基础上给每台Real Server分配一个权重。

算法：连接数=（活动连接数 256+非活动连接数）÷权重 一种比较理想的算法。

7，Shortest Expected Delay (SED) 最短期望延迟 不再考虑非活动连接数

算法：连接数=(活动连接数+1) 256 ÷权重

8，Never Queue (NQ) 永不排队算法，对SED的改进，当新请求过来的时候不仅要取决于SED算法所得到的值，还要取决于Real Server上是否有活动连接。

9，Locality-Based Least-Connection (LBLC) 基于本地状态的最少连接，在DH算法的基础上还要考虑服务器上的活动连接数。

10，Locality-Based Least-Connection with Replication Scheduling (LBLCR) 带复制的基于本地的最少连接 LBLC算法的改进

TCP

UDP

ESP (Encapsulation Security Payload)

IPsec 封装安全负载

AH (Authentication Header)

keepalived是实现服务器级别的接管，服务不可用无法切换keepalive，所以需要做好应用层的监控

参考链接：

https://wwwcnblogscom/qq78292959/archive/2012/05/31/2528524html

http://wwwkeepalivedorg/

一、lvs的优势：

1、抗负载能力强，因为lvs工作方式的逻辑是非常之简单，而且工作在网络4层仅做请求分发之用，没有流量，所以在效率上基本不需要太过考虑。在我手里的 lvs，仅仅出过一次问题：在并发最高的一小段时间内均衡器出现丢包现象，据分析为网络问题，即网卡或linux24内核的承载能力已到上限，内存和 cpu方面基本无消耗。

2、配置性低，这通常是一大劣势，但同时也是一大优势，因为没有太多可配置的选项，所以除了增减服务器，并不需要经常去触碰它，大大减少了人为出错的几率。

3、工作稳定，因为其本身抗负载能力很强，所以稳定性高也是顺理成章，另外各种lvs都有完整的双机热备方案，所以一点不用担心均衡器本身会出什么问题，节点出现故障的话，lvs会自动判别，所以系统整体是非常稳定的。

4、无流量，上面已经有所提及了。lvs仅仅分发请求，而流量并不从它本身出去，所以可以利用它这点来做一些线路分流之用。没有流量同时也保住了均衡器的IO性能不会受到大流量的影响。

5、基本上能支持所有应用，因为lvs工作在4层，所以它可以对几乎所有应用做负载均衡，包括http、数据库、聊天室等等。

另：lvs也不是完全能判别节点故障的，譬如在wlc分配方式下，集群里有一个节点没有配置VIP，会使整个集群不能使用，这时使用wrr分配方式则会丢掉一台机。目前这个问题还在进一步测试中。所以，用lvs也得多多当心为妙。

二、nginx和lvs作对比的结果

1、nginx工作在网络的7层，所以它可以针对http应用本身来做分流策略，比如针对域名、目录结构等，相比之下lvs并不具备这样的功能，所以 nginx单凭这点可利用的场合就远多于lvs了；但nginx有用的这些功能使其可调整度要高于lvs，所以经常要去触碰触碰，由lvs的第2条优点 看，触碰多了，人为出问题的几率也就会大。

2、nginx对网络的依赖较小，理论上只要ping得通，网页访问正常，nginx就能连得通，nginx同时还能区分内外网，如果是同时拥有内外网的 节点，就相当于单机拥有了备份线路；lvs就比较依赖于网络环境，目前来看服务器在同一网段内并且lvs使用direct方式分流，效果较能得到保证。另 外注意，lvs需要向托管商至少申请多一个ip来做Visual IP，貌似是不能用本身的IP来做VIP的。要做好LVS管理员，确实得跟进学习很多有关网络通信方面的知识，就不再是一个HTTP那么简单了。

3、nginx安装和配置比较简单，测试起来也很方便，因为它基本能把错误用日志打印出来。lvs的安装和配置、测试就要花比较长的时间了，因为同上所述，lvs对网络依赖比较大，很多时候不能配置成功都是因为网络问题而不是配置问题，出了问题要解决也相应的会麻烦得多。

4、nginx也同样能承受很高负载且稳定，但负载度和稳定度差lvs还有几个等级：nginx处理所有流量所以受限于机器IO和配置；本身的bug也还是难以避免的；nginx没有现成的双机热备方案，所以跑在单机上还是风险较大，单机上的事情全都很难说。

5、nginx可以检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点。目前lvs中 ldirectd也能支持针对服务器内部的情况来监控，但lvs的原理使其不能重发请求。重发请求这点，譬如用户正在上传一个文件，而处理该上传的节点刚 好在上传过程中出现故障，nginx会把上传切到另一台服务器重新处理，而lvs就直接断掉了，如果是上传一个很大的文件或者很重要的文件的话，用户可能 会因此而恼火。

6、nginx对请求的异步处理可以帮助节点服务器减轻负载，假如使用apache直接对外服务，那么出现很多的窄带链接时apache服务器将会占用大 量内存而不能释放，使用多一个nginx做apache代理的话，这些窄带链接会被nginx挡住，apache上就不会堆积过多的请求，这样就减少了相 当多的内存占用。这点使用squid也有相同的作用，即使squid本身配置为不缓存，对apache还是有很大帮助的。lvs没有这些功能，也就无法能 比较。

7、nginx能支持http和email（email的功能估计比较少人用），lvs所支持的应用在这点上会比nginx更多。

在使用上，一般最前端所采取的策略应是lvs，也就是DNS的指向应为lvs均衡器，lvs的优点令它非常适合做这个任务。

重要的ip地址，最好交由lvs托管，比如数据库的ip、webservice服务器的ip等等，这些ip地址随着时间推移，使用面会越来越大，如果更换ip则故障会接踵而至。所以将这些重要ip交给lvs托管是最为稳妥的，这样做的唯一缺点是需要的VIP数量会比较多。

nginx可作为lvs节点机器使用，一是可以利用nginx的功能，二是可以利用nginx的性能。当然这一层面也可以直接使用squid，squid的功能方面就比nginx弱不少了，性能上也有所逊色于nginx。

nginx也可作为中层代理使用，这一层面nginx基本上无对手，唯一可以撼动nginx的就只有lighttpd了，不过lighttpd目前还没有 能做到nginx完全的功能，配置也不那么清晰易读。另外，中层代理的IP也是重要的，所以中层代理也拥有一个VIP和lvs是最完美的方案了。

nginx也可作为网页静态服务器，不过超出了本文讨论的范畴，简单提一下。

具体的应用还得具体分析，如果是比较小的网站（日PV<1000万），用nginx就完全可以了，如果机器也不少，可以用DNS轮询，lvs所耗费的机器还是比较多的；大型网站或者重要的服务，机器不发愁的时候，要多多考虑利用lvs。

Nginx的优点:

性能好，可以负载超过1万的并发。

功能多，除了负载均衡，还能作Web服务器，而且可以通过Geo模块来实现流量分配。

社区活跃，第三方补丁和模块很多

支持gzip proxy

缺点:

不支持session保持。

对后端realserver的健康检查功能效果不好。而且只支持通过端口来检测，不支持通过url来检测。

nginx对big request header的支持不是很好，如果client_header_buffer_size设置的比较小，就会返回400bad request页面。

Haproxy的优点:

它的优点正好可以补充nginx的缺点。支持session保持，同时支持通过获取指定的url来检测后端服务器的状态。

支持tcp模式的负载均衡。比如可以给mysql的从服务器集群和邮件服务器做负载均衡。

缺点：

不支持虚拟主机(这个很傻啊)

目前没有nagios和cacti的性能监控模板

LVS的优点:

性能好，接近硬件设备的网络吞吐和连接负载能力。

LVS的DR模式，支持通过广域网进行负载均衡。这个其他任何负载均衡软件目前都不具备。

缺点：

比较重型。另外社区不如nginx活跃。

现在网络中常见的的负载均衡主要分为两种：一种是通过硬件来进行进行，常见的硬件有比较昂贵的NetScaler、F5、Radware和Array等商用的负载均衡器，也有类似于LVS、Nginx、HAproxy的基于Linux的开源的负载均衡策略,

商用负载均衡里面NetScaler从效果上比F5的效率上更高。对于负载均衡器来说，不过商用负载均衡由于可以建立在四~七层协议之上，因此适用 面更广所以有其不可替代性，他的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用。

另一种负载均衡的方式是通过软件：比较常见的有LVS、Nginx、HAproxy等，其中LVS是建立在四层协议上面的，而另外Nginx和HAproxy是建立在七层协议之上的，下面分别介绍关于

LVS：使用集群技术和Linux操作系统实现一个高性能、高可用的服务器，它具有很好的可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability）。

LVS的特点是：

1、抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生；

2、配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率；

3、工作稳定，自身有完整的双机热备方案；

4、无流量，保证了均衡器IO的性能不会收到大流量的影响；

5、应用范围比较广，可以对所有应用做负载均衡；

6、LVS需要向IDC多申请一个IP来做Visual IP，因此需要一定的网络知识，所以对操作人的要求比较高。

Nginx的特点是：

1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构；

2、Nginx对网络的依赖比较小；

3、Nginx安装和配置比较简单，测试起来比较方便；

4、也可以承担高的负载压力且稳定，一般能支撑超过1万次的并发；

5、Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点，不过其中缺点就是不支持url来检测；

6、Nginx对请求的异步处理可以帮助节点服务器减轻负载；

7、Nginx能支持http和Email，这样就在适用范围上面小很多；

8、不支持Session的保持、对Big request header的支持不是很好，另外默认的只有Round-robin和IP-hash两种负载均衡算法。

HAProxy的特点是：

1、HAProxy是工作在网络7层之上。

2、能够补充Nginx的一些缺点比如Session的保持，Cookie的引导等工作

3、支持url检测后端的服务器出问题的检测会有很好的帮助。

4、更多的负载均衡策略比如：动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和加权参数哈希(Weighted Parameter Hash)已经实现

5、单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度。

6、HAProxy可以对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡。

现在网站发展的趋势对网络负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术：

第一阶段：利用Nginx或者HAProxy进行单点的负载均衡，这一阶段服务器规模刚脱离开单服务器、单数据库的模式，需要一定的负载均衡，但是 仍然规模较小没有专业的维护团队来进行维护，也没有需要进行大规模的网站部署。这样利用Nginx或者HAproxy就是第一选择，此时这些东西上手快， 配置容易，在七层之上利用HTTP协议就可以。这时是第一选择

第二阶段：随着网络服务进一步扩大，这时单点的Nginx已经不能满足，这时使用LVS或者商用F5就是首要选择，Nginx此时就作为LVS或者 F5的节点来使用，具体LVS或者F5的是选择是根据公司规模，人才以及资金能力来选择的，这里也不做详谈，但是一般来说这阶段相关人才跟不上业务的提 升，所以购买商业负载均衡已经成为了必经之路。

第三阶段：这时网络服务已经成为主流产品，此时随着公司知名度也进一步扩展，相关人才的能力以及数量也随之提升，这时无论从开发适合自身产品的定制，以及降低成本来讲开源的LVS，已经成为首选，这时LVS会成为主流。

最终形成比较理想的状态为：F5/LVS<—>Haproxy<—>Squid/Varnish<—>AppServer。

IPVS connection hash table size，取值范围:[12,20]。该表用于记录每个进来的连接及路由去向的信息。连接的Hash表要容纳几百万个并发连接，任何一个报文到达都需要查找连接Hash表。Hash表的查找复杂度为O(n/m)，其中n为Hash表中对象的个数，m为Hash表的桶个数。当对象在Hash表中均匀分布和Hash表的桶个数与对象个数一样多时，Hash表的查找复杂度可以接近O(1)。连接跟踪表中，每行称为一个hash bucket（hash桶），桶的个数是一个固定的值CONFIG_IP_VS_TAB_BITS，默认为12（2的12次方，4096）。这个值可以调整，该值的大小应该在 8 到 20 之间，详细的调整方法见后面。每一行都是一个链表结构，包含N列（即N条连接记录），这个N是无限的，N的数量决定了决定了查找的速度。在LVS的实现说明中，有这样的一段话，可以帮助很好的理解行和列的关系：为了评价Hash函数的效率，我们从一个运行IPVS的真实站点上取当前连接的样本，它一共含有35652个并发连接。在有64K桶的Hash表中，连接分布如下：桶的长度（Lj）该长度桶的个数（Nj）5 164 1263 9802 56141 20900所有连接查找一次的代价为45122，每个连接查找的平均代价为1266（即45122/35652）。LVS的调优建议将hash table的值设置为不低于并发连接数。例如，并发连接数为200，Persistent时间为200S，那么hash桶的个数应设置为尽可能接近200x200=40000，2的15次方为32768就可以了。当ip_vs_conn_tab_bits=20 时，哈希表的的大小（条目）为 pow(2,20)，即 1048576，对于64位系统，IPVS占用大概16M内存，可以通过demsg看到：IPVS: Connection hash table configured (size=1048576, memory=16384Kbytes)。对于现在的服务器来说，这样的内存占用不是问题。所以直接设置为20即可。关于最大“连接数限制”：这里的hash桶的个数，并不是LVS最大连接数限制。LVS使用哈希链表解决“哈希冲突”，当连接数大于这个值时，必然会出现哈稀冲突，会（稍微）降低性能，但是并不对在功能上对LVS造成影响。

阅读本文前，需熟悉OSI七层参考模型。

常见的负载均衡设备，有F5，Haproxy，lvs, nginx等。

F5是商用硬件负载均衡，性能很好，但是价格昂贵，除了负载均衡，还有应用交换、会话交换、状态监控等众多功能。

F5一般做四层负载均衡，但也支持七层负载均衡。

Haproxy(以下简称ha)是软件负载均衡，开源，一般做七层负载均衡，但也支持四层负载均衡。

Linux Virtual Server(以下简称lvs)是软件负载均衡，开源，二层或四层负载均衡，已集成到linux内核，自身有完备的热备方案（keepalived+lvs），稳定性极强。

nginx也是软件负载均衡，开源，通过反向代理实现负载均衡，是七层负载均衡，性能不如上面的几个。

tips1

有些公司，测试环境用ha/lvs/nginx，生产环境用F5。

tips2

nginx做web服务器时，一般做静态资源服务器和php的web服务器，所以很多公司，会采用F5+nginx或者ha+nginx的架构

tips3

微服务中的ribbon属于客户端负载均衡，上面的几种都是服务端负载均衡

二层负载均衡

在数据链路层通过修改mac地址实现，如lvs的DR模式（直接路由模式）

三层负载均衡

在网络层通过DNAT协议修改目标地址实现

四层负载均衡

用ip+端口实现请求转发

备注：tcp报文里并没有ip，但是四层负载均衡可以用ip+端口，是因为server可以拿到ip

七层负载均衡

通过重新发起http请求实现，即client把请求发给lb，lb把请求代发给server，再把server的响应返回给client，因此七层负载均衡也经常被称为代理，七层负载均衡设备也被称为代理设备。

七层负载均衡常用于内网与外网的通信，比如内网无法直接访问外网，需要通过代理设备代发http请求，这种情况下，代理设备需要配置双网卡，以同时与内外网络通信。

由于需要重发http请求，七层负载均衡性能较差，但是更智能和安全，因为应用层可以获取甚至修改请求的真实内容（即应用数据），比如cookie、url等，可以做一些智能的操作，比如根据cookie/url转发请求，也可以做一些安全操作，比如过滤特定报文、防止SYN Flood攻击等。

使用七层负载均衡时，服务的性能受限于代理设备的网卡带宽。

常见的负载均衡策略，有轮询、加权轮询、ip_hash、cookie、url_hash，根据服务器响应时间转发、根据最少连接转发等等。

备注：nginx可以安装第三方插件，使用第三方实现的策略

轮询：按服务器列表顺序转发请求，轮询是nginx默认的策略，本策略适合服务器配置相当、请求无状态（即不依赖session）的场景

加权轮询：如果不同服务器配置不同，可以为配置高的服务器增加权重

ip_hash：根据ip哈希结果转发，可以实现同一用户持续请求同一服务器（即会话保持），适合有状态（即依赖session）的场景，对png、jpg、js、css等静态资源的请求，不适合使用本策略

cookie：根据特定cookie转发请求，一般也是用于实现会话保持，比如为服务器A、B分别增加service-flag=a、service-flag=b的cookie，后续请求根据cookie转发

可以参考 haproxy实现会话保持

url_hash：根据url哈希结果转发，同一个接口始终请求同一台服务器，一般配合缓存使用，缓存接口返回结果

根据服务器响应时间转发：优先转发到响应时间较快的服务器

根据最少连接转发：优先转发到连接数较少的服务器

F5有一些特有的负载均衡策略：利用从应用程序和服务器收集到的各项性能指标，分析并转发

负载均衡有两个步骤：

1根据什么算法选择真实服务端，即负载均衡策略，如轮询、加权轮询、ip_hash、cookie、url_hash等；

2把请求转发到真实服务器，转发方式有二层到七层负载均衡

keepalived软件一开始是专为lvs设计的，后来加入了可以实现高可用的VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议）功能，因此，keepalived还可以作为nginx、haproxy、mysql等服务的高可用解决方案。

以nginx为例，为了防止nginx本身由于宕机等原因导致网站不可用，一般会搭两套nginx反向代理，用keepalived提供一个VIP。

一般情况下，VIP只在nginx主节点上工作，如果nginx主节点不可用了，VIP会自动漂移到从节点，自动漂移的原理即VRRP协议。

VIP漂移到从节点后，如果主节点恢复正常了，VIP是否漂移回主节点，取决于当前模式是抢占模式还是非抢占模式。

下图是一张简单的架构图，解释如下：

以上观点纯属个人意见，如果错误，欢迎指出，有些地方写的很简单，是因为我也不懂~