主从负载均衡集群分布式微服务 服务器相关整理

一、主从服务器

1、两台服务器。主服务器Master复制数据的更新、插入、删除等操作； 从服务器Slave负责查询（读写分离，减缓服务器压力）

2、主服务器更新数据的同时更新从服务器的数据（数据备份）

3、当主服务器出现文件时，可用从服务器代替主服务器，保证网站的正常运行，同时检测主服务器存在的问题。注意：从服务器仍然只有查询功能，如银行系统更新时只能查询余额，不能存取款。（服务器可用性）

4、当把从服务器真正设置为主服务器时（即主从服务器设置调换），拥有更新数据的功能。

5、MyISAM不支持事务，但查询性能比InnoDB强；InnoDB支持事务，更新操作性能比MyISAM强。因此，主服务器可以设置成MyISAM存储引擎，从服务器可以设置成InnoDB存储引擎（灵活设置存储引擎）

二、负载均衡

1、多台服务器。一个域名映射到多台服务器IP。

2、用户发出请求，提交到负载均衡服务器，由负载均衡服务器发送请求到不同的服务器。

3、负载均衡服务器选取服务器方法（负载均衡算法）：

1、轮询：每台服务器轮换

2、加权轮询：为了应对某些服务器性能好，可以让他们的权重高一点，被选中的几率大一些。

3、最少连接：哪台服务器处理的连接少，就发给哪台服务器。

4、随机

4、存在的问题：客户端存在缓存，如果服务器出现故障，客户端报错。

5、分类：DNS负载均衡、HTTP负载均衡、IP负载均衡、反向代理负载均衡。

三、服务器集群

1、多台服务器协同工作，每台服务器叫做集群的一个“节点”，每个节点都提供相同的服务。

2、优点：高性能、高可用性、可伸缩性

3、分类：负载均衡集群、高可用性集群、高性能集群

四、分布式架构

1、按照业务功能，将一个完整的系统拆分成一个个独立的子系统，每个子系统成为“服务”。子系统可以独立运行在web容器中，它们之间通过RPC方式通信。

五、微服务架构

六、消息队列

七、RPC

八、分布式、集群和微服务之间的联系：

1、分布式、集群分散压力

2、微服务分散功能

3、集群：每台服务器提供相同的服务

4、分布式：按照功能拆分服务器，每台服务器可以独立运行，依赖一个中心运用。

5、微服务：按照功能拆分服务器，每台服务器应用独立运行。

节点数： 15台机器的构成的服务器集群服务器配置： 8核CPU，16G内存，14T硬盘容量。 HADOOP在百度：HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10 - 500个节点。主要使用了2个集群：一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘)一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘)由此基础上开发了基于SQL语法的项目：HIVE HADOOP在HULU 主要用于日志存储和分析13台机器构成的集群 （8核PUC，单台机器：4TB硬盘）基于HBASE数据库 HADOOP在TWITTER 使用HADOOP用于存储微博数据，日志文件和许多中间数据使用基于HADOOP构件的Cloudera's CDH2系统，存储压缩后的数据文件（LZO格式） HADOOP在雅虎：主要用于支持广告系统及网页搜索机器数：25000，CPU：8核集群机器数： 4000 个节点 (24cpu boxes w 41TB disk & 16GB RAM)

问题1 ：服务器集群简单可以理解为负载均衡 就是多台服务器分担同一个应用任务，但是还要看具体应用是要跑什么然后才能判断能不能实现。比如web服务器（网站服务器）就可以放到群集服务器上，100个人访问的话可以随机分配到3个服务器上，但是看到的内容是一样的感觉就是在一台服务器上。

问题2：云是依托集群来做的。群集是实现云技术的一个基础平台。简单例子：三台服务器可以做成群集架设成云平台，然后经过云平台虚拟出6台或者更多台的虚拟服务器（视你物理服务器的性能来做）

分布式与集群是不一样的，简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。

采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。

而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整体来看，还是1小时内完成一个任务。

扩展资料

分布式系统可以分为机体内系统、建筑物内系统、建筑物间系统和不同地理范围的区域系统等，它们的耦合度依次由高到低按应用领域的性质决定耦合度，可以分成三类：

一、是面向计算任务的分布并行计算机系统和分布式多用户计算机系统，它们要求尽可能高的耦合度，以便发展成为能分担大型计算机和分时计算机系统所完成的工作。

二、是面向管理信息的分布式数据处理系统。耦合度可以适当降低。

三、是面向过程控制的分布式计算机控制系统。耦合度要求适中，当然对于某些实时应用，其耦合度的要求可能很高。

最好是两个做成HA。

6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储，(这里我说的是一个月的,你数据保存几个月,就乘几倍)。

如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了。

一般是这样计算硬盘大小：

(原始数据+中间数据+结果数据)副本数量=总硬盘大小

集群中需要多少台计算机呢为什么集群最少要求有3台计算机不过我们建议最好是4台;有2台分别运行管理节点和SQL节点,另外2台作为数据节点采取2台数据节点的目的是提高数据的冗余度,管理节点放在一个独立的主机上是为了能够保证在万一有一台数据节点失败的情况下提供仲裁服务

sql 数据库最多支持32台群集 24个节点服务器!

需要改变自己的数据模式。举例来说，它不支持标识字段——需要利用GUID作为集群化主键。

需要变更现有代码。Hekaton与已存储程序协作良好，而且能将某些已存储程序编译为本地代码。

整个处理流程在内存中进行。

如果发现自己的Hekaton表格体积暴增，这就意味着可供其它表格使用的缓存空间已经大幅削减。

如果大家的内存空间已然告罄，整套系统将陷入瘫痪。