分布式集群啥时候火的

2020年火的

分布式和集群的概念和区别：分布式系统是当前比较热门的话题，说到分布式就不得不提集群和单机，如果要学习分布式就要先对他的概念和功能有所了解一、单机：单机就是把做的系统部署到一台服务器上，，所有的请求业务都由这台服务器处理。显然，当业务增长到一定程度的时候，服务器的硬件会无法满足业务需求。很多人就会想到多部署几台服务器，这就是集群。

二、集群：集群就是单机的多实例，在多个服务器上部署多个服务，每个服务就是一个节点，部署N个节点，处理业务的能力就提升_倍（大约），这些节点的集合就叫做集群。优点：操作简单，容易部署；缺点：每个节点负载相同（耦合度高），每个具体业务的访问量可能差异很大，比如美团外卖美食外卖的访问量一定大于鲜花外卖的访问量，这就造成了资源浪费

三、分布式（微服务）分布式结构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统，在分布式结构中，每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。优点：资源利用率高，缺点：安全性低，如果一台服务器出现问题整个系统就会崩塌

四、总结：所以好的设计应该是分布式和集群的结合，先分布式再集群，具体实现就是业务拆分成很多子业务，然后针对每个子业务进行集群部署，这样每个子业务如果出了问题，整个系统完全不会受影响。微服务的设计是为了不因为某个模块的升级和BUG影响现有的系统业务。微服务与分布式的细微差别是，微服务的应用不一定是分散在多个服务器上，他也可以是同一个服务器。

分布式是指不同的业务分布在不同的地方，集群指的是将几台服务器集中在一起，实现同一业务。白话理解的话，比如公司项目上线初期（举例电子商务网站）

初期：用户访问量低，只弄了一台服务器，一个tomcat项目运行一个web工程。

中期：用户访问量提高，服务器崩了，为了解决这个问题，购买服务器，增加服务器数量，然后每个服务器中个各放了一份，使用nginx代理转发。（这就是运用集群原理）

后期：用户访问量不断增加，响应速度变慢，服务器又崩了，在不考虑增加服务器带宽、内存和CPU的情况下如何解决这个问题？先解决响应速度变慢，用户频繁调用数据库，在客户端与数据库之间，使用redis缓存。解决之后，又发现问题：由于每台服务器运行一个tomcat，放着一个web工程，用户有可能在商品详情存在大幅度调用数据库，而订单列表调用幅度小，此时就存在着模块之间耦合度高，一个功能升级其他也需要升级，扩展性差，不能灵活部署。是该考虑项目重构，把项目按照模块分为不同的系统（使用zookeeper进行模块之间通信），例如：订单系统，会员系统、搜索系统、商品信息系统。把每个模块进行拆分，用户在哪个系统访问频繁，就针对哪个系统进行对症下药，增加缓存还是使用其他技术。（这样我们就可以单独对这个模块进行服务性能的提升，不用全部都一起提升。也降低了代码的耦合度，模块之间互不影响，即使后期增加开发人员，也可按照敏捷开发思想只对其负责模块进行开发，效率大大提升）。这样一个web工程就拆分成多个web工程（多个tomcat部署）。那这个项目就可以在一台服务器部署多个工程（不同端口进行通信）或者多台服务器运行单个项目。（这就是分布式原理）

总而言之，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

1、主要解决针对大型网站架构中持久化部分中，大量数据存储以及高并发访问所带来是数据读写问题。分布式是将一个业务拆分为多个子业务，部署在不同的服务器上。集群是同一个业务，部署在多个服务器上。

2、着重对数据切分做了细致丰富的讲解，从数据切分的原理出发，一步一步深入理解数据的切分，通过深入理解各种切分策略来设计和优化我们的系统。这部分中我们还用到了数据库中间件和客户端组件来进行数据的切分，让广大网友能够对数据的切分从理论到实战都会有一个质的飞跃。

通过分布式+集群的方式来提高io的吞吐量，以及数据库的主从复制，主主复制，负载均衡，高可用，分库分表以及数据库中间件的使用。

分布式与集群是不一样的，简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。

采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。

而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整体来看，还是1小时内完成一个任务。

扩展资料

分布式系统可以分为机体内系统、建筑物内系统、建筑物间系统和不同地理范围的区域系统等，它们的耦合度依次由高到低按应用领域的性质决定耦合度，可以分成三类：

一、是面向计算任务的分布并行计算机系统和分布式多用户计算机系统，它们要求尽可能高的耦合度，以便发展成为能分担大型计算机和分时计算机系统所完成的工作。

二、是面向管理信息的分布式数据处理系统。耦合度可以适当降低。

三、是面向过程控制的分布式计算机控制系统。耦合度要求适中，当然对于某些实时应用，其耦合度的要求可能很高。

集群强调高可用，分布式强调多业务协作

物理与逻辑

集群倾向于物理概念，即多台机器组成一个集群。这多台机器是否有合作关系并不能保证，比如我们会说我们公司的一个规模为1000台机器的物理集群部署在昌平，但是这1000台机器可能是给公司内不同的平台提供服务，但是从物理角度，由于都部署在一起，在同一个机房，就可以称之为集群。

分布式倾向于逻辑概念，即多个节点或程序为了一个共同的目标，部署在一个或者多个物理机器上。举个例子，一台物理机上装了一个Nginx，它连接的两个Tomcat也在这台物理机上，但是这个Nginx代表的服务，就可以称之为分布式。当然，为了安全性，稳定性等原因，我们并不建议把分布式部署在一个物理节点上。

发自简书App

冗余与分解

集群除了可以用来表示多个物理机器，还可以表示一种“冗余”的理念，即通过部署多个同样功能的节点，来实现扩展性与可用性的提升。举个例子，通过在不同节点上部署两个同样功能的server，来这样就算其中一个节点宕机，也能保证服务的可用性。而扩展性，比如一个server的qps可用承担到2000，但是随着用户群体的增加，qps需要达到3000，那么我们就可以通过增加一个Tomcat节点的方式来实现扩容。

分布式的分解与微服务的概念有点相近，即把一个系统的功能分布在不同节点上，每个节点都承担了不同的责任，这样分模块部署最主要的优势是业务隔离，即个别功能的问题或者改进不会影响其他模块，这样就算个别模块挂掉，其他模块也能够继续运作。举个例子，前些年春晚抢红包的时候，曾经由于瞬时间请求量太大导致把微信和支付宝给弄瘫痪了，但是大家都知道，瘫痪的只是红包部分的功能，微信的信息功能并不受影响，这就是分布式的好处。

集群和负载均衡的区别如下：

1、集群(Cluster)

所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信应用程序可以通过网络共享内存进行消息传送,实现分布式计算机

2、负载均衡(Load Balance)

网络的负载均衡是一种动态均衡技术,通过一些工具实时地分析数据包,掌握网络中的数据流量状况,把任务合理均衡地分配出去这种技术基于现有网络结构,提供了一种扩展服务器带宽和增加服务器吞吐量的廉价有效的方法,加强了网络数据处理能力,提高了网络的灵活性和可用性

3、特点

(1)高可靠性(HA)利用集群管理软件,当主服务器故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务

(2)高性能计算(HP)即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域,比如基因分析化学分析等

(3)负载平衡即把负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求

LVS系统结构与特点

1 Linux Virtual Server:简称LVS是由中国一个Linux程序员章文嵩博士发起和领导的,基于Linux系统的服务器集群解决方案,其实现目标是创建一个具有良好的扩展性高可靠性高性能和高可用性的体系许多商业的集群产品,比如RedHat的Piranha Turbo Linux公司的Turbo Cluster等,都是基于LVS的核心代码的

2 体系结构:使用LVS架设的服务器集群系统从体系结构上看是透明的,最终用户只感觉到一个虚拟服务器物理服务器之间可以通过高速的 LAN或分布在各地的WAN相连最前端是负载均衡器,它负责将各种服务请求分发给后面的物理服务器,让整个集群表现得像一个服务于同一IP地址的虚拟服务器

3 LVS的三种模式工作原理和优缺点: Linux Virtual Server主要是在负载均衡器上实现的,负载均衡器是一台加了 LVS Patch的22x版内核的Linux系统LVS Patch可以通过重新编译内核的方法加入内核,也可以当作一个动态的模块插入现在的内核中

　　分布式文件系统、集群文件系统、并行文件系统，这三种概念很容易混淆，实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系，其实它们之间在概念上的确有交叉重叠的地方，但是也存在显著不同之处。　

　　分布式文件系统

　　自然地，“分布式”是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面将要介绍的集群文件系统(如Lustre, GlusterFS, PVFS2等)。　

　　集群文件系统

　　“集群”主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。在元数据管理方面，可以采用专用的服务器，也可以采用服务器集群，或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。　

　　并行文件系统

　　这种文件系统能够支持并行应用，比如MPI。在并行文件系统环境下，所有客户端可以在同一时间并发读写同一个文件。并发读，大部分文件系统都能够实现。并发写实现起来要复杂许多，既要保证数据一致性，又要最大限度提高并行性，因此在锁机制方面需要特别设计，如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统，如GPFS、StorNext、GFS、BWFS，集群文件系统大多也是并行文件系统，如Lustre, Panasas等。

　　如何区分？

　　区分这三者的重点是“分布式”、“集群”、“并行”三个前缀关键字。简单来说，非本地直连的、通过网络连接的，这种为分布式文件系统；分布式文件系统中，服务器节点由多个组成的，这种为集群文件系统；支持并行应用(如MPI)的，这种为并行文件系统。在上面所举的例子中也可以看出，这三个概念之间具有重叠之处，比如Lustre，它既是分布式文件系统，也是集群和并行文件系统。但是，它们也有不同之处。集群文件系统是分布式文件系统，但反之则不成立，比如NAS、AFS。SAN文件系统是并行文件系统，但可能不是集群文件系统，如StorNext。GFS、HDFS之类，它们是集群文件系统，但可能不是并行文件系统。实际中，三者概念搞理清后，分析清楚文件系统的特征，应该还是容易正确地为其划分类别的。

多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展

redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点构成三主三从

redis 多节点启动 使用 /redis-server xxxxconf 指定不同的配置文件即可