Linux HA 集群原理和配置-02

本文介绍在Linux HA集群中的仲裁和分区概念。

集群正常工作时，所有节点都在一个分区内（partition），分区内的所有节点将选举出一个仲裁节点，这个仲裁节点负责向其他节点发送集群控制命令。当网络发生故障时，集群中的节点发现无法和仲裁节点通信，则会在可通信的范围内重新选举一个新的仲裁节点。此时集群内可能出现多个仲裁节点，每个仲裁节点的管理范围为一个分区。

下文中将通过防火墙策略的设置模拟集群网络中通信出现异常的各种情况，如：

通过防火墙策略可以精准控制两两节点之间的连通性，使我们能更准确的了解在网络连通性发生变化对集群的影响。

在所有节点上启动防火墙，并添加策略对整个管理网络192168560/24放通。

保存上述策略，之后在实验过程会使用iptables命名加入新策略模拟网络通信异常效果，如果需要恢复网络通信正常状态，直接不保存策略重启firewalld服务即可。

通过pcs status查看集群状态：

上述结果显示当前集群只有一个分区，分区内的节点包括全部3台主机，仲裁节点是ha-host3，这表示集群间的通信是完好的。下图显示当前集群状态：

在ha-host1上添加以下策略：

该策略将使得ha-host1和ha-host3之间的通信中断，在所有节点上查看集群状态：

上面的结果显示，ha-host1失去和当前仲裁节点ha-host3的联系之后，和ha-host2一起组成新的分区并选举出ha-host2作为新的仲裁节点。有趣的是ha-host2和ha-host3的通信并未中断，但是他被“优先级较高的ha-host1抢走并推举为老大”，剩下ha-host3独自留在其自身所在的分区。此时ha-host3所在的分区提示了“partition WITHOUT quorum”，表示该分区中的节点数目不超过一半。

下图显示当前集群状态：

在ha-host1上再添加策略：

使其和当前的仲裁节点ha-host2的通信中断，集群状态变为：

发现ha-host2和ha-host3一起组成了新的分区，由于ha-host1所在分区节点数不足一半，无法启动资源，虚拟ip资源vip被切换到了ha-host2上。下图显示当前集群状态：

如果再把ha-host2和ha-host3直接的通信中断，此时3个节点间两两均无法通信。每个节点都是一个分区，每个分区的主机数均不过半，因此无法启动任何资源，原先运行在ha-host2上的vip也停止了。

当前集群状态如下图：

可以自学或参加培训都可以，现在Linux运维学习正是好时机学历要求低，薪资还不错

1） Linux运维岗位及工作内容

互联网Linux运维工程师是一个融合多学科(网络、系统、开发、数据库、安全、存储等)的综合性技术岗位，甚至还需要沟通、为人处世、培训、销售、管理等非技术能力，这给运维工程师提供了一个广阔的发展空间。

2) Linux运维工程师岗位职责

一般从企业入门到中级Linux运维工程师的工作大致有：挑选IDC机房及带宽、购买物理服务器或云服务、购买及使用CDN服务、搭建部署程序开发及用户的访问系统环境(例如:网站运行环境)、对数据进行备份及恢复、处理网站运行中的各种故障（例如：硬件故障、软件故障、服务故障、数据损坏及丢失等）、对网站的故障进行监控、解决网站运行的潜在安全问题、开发自动化脚本程序提高工作效率、规划网站架构、程序发布流程和规范，制定运维工作制度和规范、配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求，公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。

涉及到的Linux平台上的运维工具有：Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,Open***,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,，K8S，Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础等，除此之外还可能涉及到交换机、路由器、存储、安全、开发等知识。

运维工程师还包括一些低端的岗位，例：网络管理员、监控运维、IDC运维，值班运维

职业发展方向：Linux运维工程师、系统架构师、数据库工程师、运维开发工程师、系统网络安全工程师、运维经理、运维总监

3) Linux中级运维工程师应用软件阶段。

Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,Open***,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础

4)Linux运维架构师岗位职责

运维架构师是运维工程师的高级阶段，并没有明确的岗位界限区分，运维架构师一般来说是除了对运维工程师应用的开源工具熟练掌握之外，更多的是用思想来运维了，即DevOps的落地，各种企业运行过程中的解决方案提出和执行，例如：根据公司的现状可以设计各类运维解决方案的能力：

1、自动化代码上线（SVN/GIT+Jenkins+MVN）解决方案；

2、云计算部署架构及Docker微服务架构方案；

3、服务自动化扩容方案（KVM/OpenStack/Docker+Ansible+Zabbix）；

4、10万并发的网站架构、秒杀系统的架构及解决发你个案；

5、多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案；

6、数据库、存储及各重要服务节点的集群和高可用方案。

7、各网络服务的极端优化方案、服务解耦/拆分。

8、运维流程、制度、规范等的建设和推行。

9、沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。

这里仅举几个例子，实际工作中会有更多，运维架构师的工作，其实就是解决企业中的用户访问量不断增大带来的痛点，最终达到高效、优质的为客户提供网站及业务服务。

总的来说：Linux运维架构师更多的是根据企业日益增长的访问量需求，利用若干运维工具组合加上经验思想，形成解决业务需求方案的阶段，当然也不排除对运维工具进行二次开发以及可视化展示运维数据的阶段（开发软件平台），这个阶段涉及的工具会非常多，几乎市面好用的开源工具都在备选之列，在一线城市互联网公司的薪资范围15000-50000/月。

职业方向：高级数据库工程师、运维开发工程师、运维经理、运维总监、技术总监

运维架构师：将多个工具组合，加上思想经验，形成方案，用思想和经验赚钱的阶段。

技术的提升仅是量的积累，思想的提升才是质的飞跃！——老男孩

5)数据库运维工程师

众所周知，数据几乎是所有企业的生命线，所以数据库工程师的地位和薪水一般会比普通运维工程师高一些，主要工作内容就是保证数据库数据的安全以及高效地为用户提供各种服务。工作内容主要有：数据库环境搭建、数据库优化、数据库

日常无论测试环境还是生产环境，在进行多台服务器（集群）安装配置的时候，经常需要对集群内服务器SSH访问做免密码设置。比如Hadoop、HBase等集群的安装配置，或者多台服务器为便于后续运维也需要做SSH免密配置。

结合近期搭建测试环境的过程，对如何快速给多台服务器做相互SSH访问免密配置做一个说明。主要分为几个步骤：修改主机名称、配置汇聚服务器的秘钥、汇聚其他服务器秘钥、拷贝汇聚秘钥文件、生成know_hosts文件、拷贝know_hosts文件。

1、集群规划

主机IP

主机名称

1014193101

dmz01

1014193102

dmz02

1014193103

inside01

1014193104

inside02

1014193105

inside03

1014193106

inside04

1014193107

inside05

1014193108

inside06

1014193109

inside07

1014193110

inside08

1014193111

inside09

1014193112

inside10

1014193113

inside11

1014193114

inside12

1014193115

inside13

1014193116

inside14

1014193117

inside15

1014193118

inside16

该集群共有18台服务器，划分为DMZ区2台，INSIDE区16台。主要用于web服务器和应用服务器、数据库、缓存等。为了部署应用、管理集群服务器方便，将18台服务器做SSH互访免密码配置。

2、修改主机名称

无论初装系统或云主机，其主机名称localhost或VM_75_173_centos都不容易进行区分服务器作用。所以便于安装、部署、维护方便，会重新修改主机名称hostname。

修改主机名称可以使用下面命令：

hostnamectl set-hostname inside01

使用上述命令修改主机名称后重新ssh登陆，即可看到主机名称已经修改。

3、配置汇聚服务器秘钥

此处所谓汇聚服务器就是选定集群中的一台服务器，然后其他服务器与其做SSH免密码信任。本文选定dmz01（1014193101）作为汇聚服务器。关系图如下所示：

其他服务器向dmz01做SSH登陆免密码信任配置。此处dmz01就是汇聚服务器。

配置汇聚服务器秘钥的命令如下所示：

[root@dmz01 ~]#ssh-keygen -t rsa

Generating public/private rsa key pair

Enter file in which to save the key (/root/ssh/id_rsa):[Enter键]

Enter passphrase (empty for no passphrase):[Enter键]

Enter same passphrase again:[Enter键]

Your identification has been saved in /root/ssh/id_rsa

Your public key has been saved in /root/ssh/id_rsapub

The key fingerprint is:

43:0d:08:18:ec:9e:d6:1f:ea:5f:04:30:0f:66:26:41 root@dmz01

The key's randomart image is:

+--[ RSA 2048]----+

| oE+O |

| o= = o |

| o |

| o |

| o S |

| + |

| o |

| |

| |

+------------------+

进入/root/ssh目录，拷贝生成authorized_keys文件，使用命令如下：

cat id_rsapub authorized_keys

结果如下所示：

[root@inside01 ssh]# ll

total 12

-rw-r--r-- 1 root root 395 Nov 12 16:25 authorized_keys

-rw------- 1 root root 1675 Nov 12 16:24 id_rsa

-rw-r--r-- 1 root root 395 Nov 12 16:24 id_rsapub

4、拷贝其他服务器秘钥

经过第3节配置汇聚服务器秘钥后，需要依次配置dmz02，inside01，，inside16等17台服务器的秘钥。方法同第三节命令。

配置完成其他17台服务器的秘钥后，需要将该17台服务器的秘钥复制拷贝到汇聚服务器dmz01上。其拷贝命令如下：

[root@dmz01 ssh]# ssh-copy-id -i dmz01

[root@inside01 ssh]# ssh-copy-id -i dmz01

依次将17台的秘钥汇聚拷贝到dmz01上。

5、拷贝汇聚秘钥文件

从汇聚服务器将汇聚的秘钥文件依次拷贝到其他17台服务器的/root/ssh目录下面，命令如下所示：

[root@dmz01 ssh]# scp authorized_keys dmz02:/root/ssh/

[root@dmz01 ssh]# scp authorized_keys inside01:/root/ssh/

[root@dmz01 ssh]# scp authorized_keys inside16:/root/ssh/

root@inside16's password:

authorized_keys 100% 7104 69KB/s 00:00

如上所示进行scp拷贝秘钥文件authorized_keys，该过程需要输入密码。

Ssh免密码验证：

[root@dmz01 ssh]# ssh dmz02

The authenticity of host 'dmz02 (1014168179)' can't be established

ECDSA key fingerprint is 22:49:b2:5c:7c:8f:73:56:89:29:8a:bd:56:49:74:66

Are you sure you want to continue connecting (yes/no) yes

Warning: Permanently added 'dmz02,1014168179' (ECDSA) to the list of known hosts

Last login: Sat Nov 12 17:19:19 2016 from 1014193186

由上面可以看出ssh dmz02，ssh登陆dmz02服务器时，没有再需要输入密码。但是提示需要将dmz02添加到dmz01的know hosts列表文件中。这样下次ssh访问dmz02就不会再提示需要加入know hosts列表了。

6、生成know_hosts文件

从汇聚服务器依次ssh其他17台服务器，经过前面的免密码设置。不需要再输入密码，但是都有加入know hosts列表的提示。

注意：为了把自己dmz01也加入到know hosts文件中，也需要[root@dmz01ssh]# ssh dmz01一下。

最后生成的know_hosts文件内容如下所示：

查看know_hosts文件行数：

[root@dmz01 ssh]# wc -l known_hosts

18 known_hosts

可以看出每个主机一行内容，表示dmz01知道了包括自己在内的所有18台服务器。

7、拷贝know_hosts文件

经过第六节生成18台服务器对dmz01的know host设置，将dmz01的/root/ssh/know_hosts文件scp拷贝到其他17台服务器上。

ssh免密码登陆验证：

[root@dmz01 ssh]# ssh inside10

Last login: Tue Nov 15 15:01:18 2016 from 1014193186

[root@inside10 ~]# ssh inside15

Last login: Sat Nov 12 17:52:29 2016 from 1014193186

[root@inside15 ~]# ssh dmz02

Last login: Sat Nov 12 20:05:59 2016 from 1014193186

[root@dmz02 ~]# ssh dmz01

Last login: Thu Nov 17 23:56:05 2016 from 2181089246

[root@dmz01 ~]# ssh inside15

Last login: Fri Nov 18 00:23:54 2016 from 10141114152

ssh免密码登陆顺序：dmz01inside10inside15dmz02dmz01inside15。

8、总结

本文主要涉及以下几个命令：

hostnamectl set-hostname inside01

ssh-keygen -t rsa

ssh-copy-id -i dmz01

这篇文章就介绍到这了，希望大家以后多多支持我们。

1 基本功要扎实

学习任何一种语言，必备的基本功是必须要有的，一方面可以提高效率，另一方面可以拓宽思路。

对于Linux基本知识的学习，对一些初学者来说是枯燥乏味的，可以通过理解再背诵的方式先进行代码及语法的学习，然后进行实践操作，必须手动输入命令行，不要借助工具，这样可以更快速有效的掌握Linux。

2 学以致用

Linux学习的目的是应用，Linux基本知识是一些零散的技术，当没有应用在项目上时，我们无法理解他的真实价值，所以打好基本功之后，最紧迫的是多做几个完整的项目，刚开始可以是功能简单的项目，之后可以选择稍微复杂的项目，勤于动手，敢于实践，一定能学好Linux。

3 学会使用Linux联机帮助

任何一种教材都不会完全讲述Linux知识，一般讲的都是比较常用的或者是比较有代表性的知识，但是，我们在项目应用中往往有些功能的实现是需要一些生僻知识和技能的，那么，如何查找我们所需的知识呢，推荐查阅Linux帮助文档，主流的Linux都自带详细的帮助文档，很方便解决问题！

4 在网上找资源

在Linux的学习和应用中，难免会遇到一些没有思路、不知道如何解决的问题，这时就要借助网络力量，可以通过搜索引擎搜索查找，也可以咨询资深技术人员，最终实现问题的解决，这是Linux知识积累的一个重要的途径！

5 查阅英文技术文档

如果想深入学习Linux，查阅英文技术文档是十分必要的，往往最新的技术都是采用英文文档的方式发布的，而且更全面，因此，对于Linux人员来说，多看一些Linux技术文档，对于掌握前沿技术和加深知识是十分有必要的！

Linux学习是一个需要长期坚持不懈的过程，新的技术不断的产生，要想成为Linux大牛，必须要时刻关注Linux发展动态，掌握最新技术，才能走在行业前列！

    在局域网中的Linux服务器集群，为了保障运维安全，只能从堡垒机登录到各个Linux服务器。那么需要对Linux服务器集群进行安全加固，限制访问权限。在堡垒机上可以部署脚本来记录用户操作的审计日志（详情参考笔者的文章），那么整个局域网的Linux服务器集群的安全性就可以大大提高。

    堡垒机作用明显，其提供运维统一入口和安全审计功能，切断直接访问和事后审计定责，解决“运维混乱”变得“运维有序” 。

   下面是三种方法总结。分别从服务端，系统端、防火墙端来完成只允许堡垒机SSH登录的功能。

1、/etc/ssh/sshd_config

    修改添加AllowUsers到ssh配置文件/etc/ssh/sshd_config  ：

    AllowUsers myuser@201324

    然后重启 sshd服务：systemctl restart sshd

2、hostsallow与hostsdeny

    修改/etc/hostsdeny中添加设置 sshd : ALL ，拒绝所有的访问；

    修改/etc/hostsallow，添加设置sshd : 201324 ，单独开启某个IP地址 。

    这两个文件优先级为先检查hostsdeny，再检查hostsallow。

    更加详细信息参考笔者的文章-Linux中hostsallow与hostsdeny  。

3、iptables防火墙

    tcp协议中，禁止所有的ip访问本机的22端口。

    iptables -I INPUT -p tcp--dport 22 -j DROP

    只允许201324 访问本机的22端口

    iptables  -I  INPUT  -s  201324   -ptcp  --dport  22  -j   ACCEPT

    另外/etc/pamd/sshd也可以提供访问控制功能，调用的pam_accessso模块是根据主机名、IP地址和用户实现全面的访问控制，pam_accessso模块的具体工作行为根据配置文件/etc/security/accessconf来决定。但是囿于资料过少，待以后遇到再解决把。