集群开发中有多台服务器部署was服务
服务器集群: 服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正
一对一关系、一对多关系。
1、一对一关系:每个实例都运行在一个独立的服务器上。这种关系意味着实例数等于服务器数量。例如,有10台服务器,那么集群中可以有最多10个实例。
2、一对多关系:每台服务器可以运行多个实例。这种关系可以通过虚拟化技术、容器化技术或资源分配策略实现。例如,有10台服务器,每台服务器可以运行多个实例,那么集群中可以有超过10个实例。
=======================================
F5全称: F5-BIG-IP-GTM 全球流量管理器
是一家叫F5 Networks的公司开发的四~七层交换机,软硬件捆绑
据说最初用BSD系统,现在是LINUX;硬件是Intel的PC架构,再加周边的网络和专用加速设备
当然要提提售价, 都是几十万RMB的身价
这宝贝是用于对流量和内容进行管理分配的设备,也就是负载均衡
从名字就能看出来:BIG-IP
外部看来是一个IP,内部可却是几十台应用服务器表现为一个虚拟的大服务器
所以我才说: 好大一个IP
LVS = Linux Virtual Server
是俺们中国人,一个叫章文嵩的博士推创开发出来的,
他的web:http://zhlinuxvirtualserverorg/
IBM网站的资料:集群的可扩展性及其分布式体系结构(4)
博士关于LVS和F5的对比:
关于和F5的差别,很难一句话说明白,都是做负载均衡的设备。
F5虽然也是基于BSD系统修改的(据说最新的基于Linux了),但重要的交换部分,则是通过专门的交换芯片实现的(类似有了专门的图像处理芯片,就可以省去大量的CPU对图像处理的运算),这样他的性能就不会很依赖于主机的操作系统的处理能力。
F5上负载均衡大多是基于NAT/SNAT,也可以实现Proxy,但用的较少,做为一个上市公司,F5自然在产品化程度上做的很好,无论配置管理方便性、灵活性,性能和稳定性上都比较好。
LVS在NAT模式下,和F5的功能基本上是一样的,但毕竟LVS是纯粹的软件,性能是依赖于主机的运算能力的。
而且,LVS是开源的项目,不应该和一个商业产品来比较,人家那是卖钱的,有很多人来维护和开发,而LVS一直是章博士义务来维护开发的,想要更好的功能,就需要有更多的人参与进来才行。
说的相当透彻了
DNS轮询是做负载均衡最简单有效的实现方法,各方面代价都极低货好便宜量又足
缺点就是由于没有检测机制, 不够均衡,容错反应时间长
国内门户用这个技术的很多,配合squid有很好的效果
当然,不做负载均衡, 直接从多个ISP拉几根线,分别提供服务是最原始的方法
CDN = Content Delivery Network,内容分发网络。
细究起来上面的都是cdn的实现方式
国内开放的服务很少(chinacache),国外却非常流行
就是提供缓存节点,把目标网络内容的访问转化为临近节点的访问
响应速度/安全/透明/扩展,特别是中国这种还没解放台湾就南北分裂的网络格局下,更为伟大
不过也是贵族的服务,建设成本很高
ADSL + DDNS + CDN 也算是另一个建小站的途径了
把空间的租用费用投资在流量上, 直接有效 不过电费和稳定性上不容乐观
其实CDN不只是做网站服务的, 比如在韩国,多数的CND流量都是被网络游戏占用了
试想,如果能大范围铺开CDN节点, 那还有必要一个游戏分那么多区,占用那么多服务器么
结论是还有必要 虽然确实访问连接和响应速度对现在的网络游戏有很大影响,但开发瓶颈更在于计算能力和数据存储访问
又一个试想, 把CDN和P2P结合, 上网的个人PC只要提供CDN服务, 就可以每月获的xx美金的佣金由资讯和应用提供商买单
怎么看这都是个良性发展的产业链, 就像google明年要推出免费手机,让广告商买单一样
不过唯一不高兴的就应该是ISP们了,现在bt这样的共享都被封杀
除非这个业务被他们自己垄断,不然也是僵尸的下场
用户也不是百利无害的, 数据安全和资讯及时有挑战
GV们也不是看戏的,现在还有网站可以封,写个blog都要100万注册资金;
如果一堆SSL加密的数据四处流窜,神龙无首无尾,怎么屏蔽过滤,怎么防川啊~
回望眼,越看越像网摘,索性就再摘段完整的
F5功能介绍:
1多链路的负载均衡和冗余
与互联网络相关的关键业务都需要安排和配置多条ISP接入链路以保证网络服务的质量,消除单点故障,减少停机时间。多条ISP接入的方案并不是简单的多条不同的广域网络的路由问题,因为不同的ISP有不同自治域,所以必须考虑到两种情况下如何实现多条链路的负载均衡:
more
less
内部的应用系统和网络工作站在访问互联网络的服务和网站时如何能够在多条不同的链路中动态分配和负载均衡,这也被称为OUTBOUND流量的负载均衡。
互联网络的外部用户如何在外部访问内部的网站和应用系统时也能够动态的在多条链路上平衡分配,并在一条链路中断的时候能够智能地自动切换到另外一条链路到达服务器和应用系统,这也被称作为INBOUND流量的负载均衡。
F5 的BIG-IP LC可以智能的解决以上两个问题:
对于OUTBOUND流量,BIG-IP LC接收到流量以后,可以智能的将OUTBOUND流量分配到不同的INTERNET接口,并做源地址的NAT,可以指定某一合法IP地址进行源地址的 NAT,也可以用BIG-IP LC的接口地址自动映射,保证数据包返回时能够正确接收。
对于INBOUND流量,BIG-IP LC分别绑定两个ISP 服务商的公网地址,解析来自两个ISP服务商的DNS解析请求。BIG-IP LC不仅可以根据服务器的健康状况和响应速度回应LDNS相应的IP地址,还可以通过两条链路分别与LDNS建立连接,根据RTT时间判断链路的好坏,并且综合以上两个参数回应LDNS相应的IP地址。
2防火墙负载均衡
考虑到绝大多数的防火墙只能达到线速的30%吞吐能力,故要使系统达到设计要求的线速处理能力,必须添加多台防火墙,以满足系统要求。然而,防火墙必须要求数据同进同出,否则连接将被拒绝。如何解决防火墙的负载均衡问题,是关系到整个系统的稳定性的关键问题。
F5的防火墙负载均衡方案,能够为用户提供异构防火墙的负载均衡与故障自动排除能力。典型的提高防火墙处理能力的方法是采用“防火墙三明治”的方法,以实现透明设备的持续性。这可满足某些要求客户为成功安全完成交易必须通过同一防火墙的应用程序的要求,也能够维护原来的网络安全隔离的要求。F5标准防火墙解决方案如图所示:
防火墙负载均衡连接示意图
3服务器负载均衡
对于所有的对外提供服务的服务器,均可以在BIG-IP上配置Virtual Server实现负载均衡,同时BIG-IP可持续检查服务器的健康状态,一旦发现故障服务器,则将其从负载均衡组中摘除。
BIG-IP利用虚拟IP地址(VIP由IP地址和TCP/UDP应用的端口组成,它是一个地址)来为用户的一个或多个目标服务器(称为节点:目标服务器的IP地址和TCP/UDP应用的端口组成,它可以是internet的私网地址)提供服务。因此,它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。根据服务类型不同分别定义服务器群组,可以根据不同服务端口将流量导向到相应的服务器。BIG-IP连续地对目标服务器进行L4到 L7合理性检查,当用户通过VIP请求目标服务器服务时,BIG-IP根椐目标服务器之间性能和网络健康情况,选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源,将所有流量均衡的分配到各个服务器,我们就可以有效地避免“不平衡”现象的发生。
利用UIE+iRules可以将TCP/UDP数据包打开,并搜索其中的特征数据,之后根据搜索到的特征数据作相应的规则处理。因此可以根据用户访问内容的不同将流量导向到相应的服务器,例如:根据用户访问请求的URL将流量导向到相应的服务器。
4系统高可用性
系统高可用性主要可以从以下几个方面考虑:
41设备自身的高可用性:F5 BIG-IP专门优化的体系结构和卓越的处理能力保证99999%的正常运行时间,在双机冗余模式下工作时可以实现毫秒级切换,保证系统稳定运行,另外还有冗余电源模块可选。在采用双机备份方式时,备机切换时间最快会在200ms之内进行切换。BIG-IP 产品是业界唯一的可以达到毫秒级切换的产品, 而且设计极为合理,所有会话通过Active 的BIG-IP 的同时,会把会话信息通过同步数据线同步到Backup的BIG-IP,保证在Backup BIG-IP内也有所有的用户访问会话信息;另外每台设备中的watchdog芯片通过心跳线监控对方设备的电频,当Active BIG-IP故障时,watchdog会首先发现,并通知Backup BIG-IP接管Shared IP,VIP等,完成切换过程,因为Backup BIG-IP中有事先同步好的会话信息,所以可以保证访问的畅通无阻。
42链路冗余:BIG-IP可以检测每条链路的运行状态和可用性,做到链路和ISP故障的实时检测。一旦出现故障,流量将被透明动态的引导至其它可用链路。通过监控和管理出入数据中心的双向流量,内部和外部用户均可保持网络的全时连接。
43服务器冗余,多台服务器同时提供服务,当某一台服务器故障不能提供服务时,用户的访问不会中断。BIG-IP可以在OSI七层模型中的不同层面上对服务器进行健康检查,实时监测服务器健康状况,如果某台服务器出现故障,BIG-IP确定它无法提供服务后,就会将其在服务队列中清除,保证用户正常的访问应用,确保回应内容的正确性。
5高度的安全性
BIG-IP采用防火墙的设计原理,是缺省拒绝设备,它可以为任何站点增加额外的安全保护,防御普通网络攻击。可以通过支持命令行的SSH或支持浏览器管理的SSL方便、安全的进行远程管理,提高设备自身的安全性;能够拆除空闲连接防止拒绝服务攻击;能够执行源路由跟踪防止IP欺骗;拒绝没有ACK 缓冲确认的SYN防止SYN攻击;拒绝teartop和land攻击;保护自己和服务器免受ICMP攻击;不运行SMTP、FTP、TELNET或其它易受攻击的后台程序。
BIG-IP的Dynamic Reaping特性可以高效删除各类网络DoS攻击中的空闲连接,这可以保护BIG-IP不会因流量过多而瘫痪。BIG-IP可以随着攻击量的增加而加快连接切断速率,从而提供一种具有极强适应能力、能够防御最大攻击量的解决方案。
BIG-IP的Delay Binding技术可以为部署在BIG-IP后面的服务器提供全面地SYN Flood保护。此时,BIG-IP设备作为安全代理来有效保护整个网络。
BIG-IP可以和其它安全设备配合,构建动态安全防御体系。BIG-IP可以根据用户单位时间内的连接数生成控制访问列表,将该列表加载到其它安全设备上,有效控制攻击流量。
6SSL加速
在每台BIG-IP上,都具有SSL硬件加速芯片,并且自带100个TPS的License,用户可以不通过单独付费,就可以拥有100个TPS的 SSL 加速功能,节约了用户的投资。在将来系统扩展时,可以简单的通过License升级的方式,获得更高的SSL加速性能。
7系统管理
BIG-IP提供HTTPS、SSH、Telnet、SNMP等多种管理方式,用户客户端只需操作系统自带的浏览器软件即可,不需安装其它软件。可以通过支持命令行的SSH或支持浏览器管理的SSL方便、安全的进行远程管理。直观易用的Web图形用户界面大服务降低了多归属基础设施的实施成本和日常维护费用。
BIG-IP包含详尽的实时报告和历史纪录报告,可供评测站点流量、相关ISP性能和预计带宽计费周期。管理员可以通过全面地报告功能充分掌握带宽资源的利用状况。
另外,通过F5 的i-Control 开发包,目前国内已有基于i-Control开发的网管软件x-control, 可以定制针对系统服务特点的监控系统,比如服务的流量情况、各种服务连接数、访问情况、节点的健康状况等等,进行可视化显示。
告警方式可以提供syslog、snmp trap、mail等方式。
8其它
内存扩充能力:F5 BIG-IP 1000以上设备单机最大可扩充到2G内存,此时可支持400万并发回话。
升级能力:F5 所有设备均可通过软件方式升级,在服务有效期内,升级软件包由F5公司提供。F5 NETWORKS已经发布其系统的最新版本BIG-IP V90,主要有以下特性:虚拟 IPV4 / IPV6 应用、加速Web应用高达3倍、减少66%甚至更多的基础架构成本、确保高优先级应用的性能、确保更高级别的可用性、大幅提高网络和应用安全性、强大的性能,简单的管理方式、无以匹敌的自适应能力和延展能力和突破的性能表现力。其强大的HTTP压缩功能可以将用户下载时间缩短50%,节省80%的带宽。
IP地址过滤和带宽控制:BIG-IP可以根据访问控制列表对数据包进行过滤,并且针对某一关键应用进行带宽控制,确保关键应用的稳定运行。
配置管理及系统报告:F5 BIG-IP提供WEB 界面配置方式和命令行方式进行配置管理,并在其中提供了丰富的系统报告,更可通过i-Control自行开发复杂的配置及报告生成。
当今计算机技术已经进入以网络为中心的时代。互联网的高速发展,用户数量及网络流量的迅速增长使得越来越多服务器显得负担沉重,对网络服务器的可扩展性和 可用性提出了更高的要求。简单的提高硬件性能并不能真正解决这个问题。为此,必须采用多服务器和负载均衡技术才能满足大量并发访问的需要。集群技术就是将 多台计算机组织起来进行协同工作来模拟一台功能更强大的服务器的技术。集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应用提供服务。 计算机通过缆线物理连接并通过集群软件实现程序上的连接,可以使计算机实现单机无法实现的容错和负载均衡。Windows Server 2003 家族产品将提供两种类型的集群服务:集群服务(MSCS)仅用于Windows Server 2003 企业版和数据中心版,该服务为像数据库、消息系统、文件与打印服务这些关键业务应用提供了高可用性和可扩展性。在集群中的多个服务器(节点)保持不间断的联系。如果在集群中的某一节点因出错或维护不可用时,另一节点会立刻提供服务,以实现容错。正在访问服务的用户可以继续访问,而不会察觉到服务已经由另一台服务器(节点)提供。Windows Server 2003的企业版和数据中心版都可以支持最大达8个节点的集群配置。这一改变增强了部署的灵活性:尤其对于地理分散部署的集群配置而言,并且支持主机的N+I配置(N 个主动节点+ I 个备用节点)。 N+I 模型将为将来利用Windows Server 2003部署大型Microsoft Exchange Server提供非常重要的支持。网络负载均衡 (NLB) 在Windows Server 2003家族的所有版本中都可用,该服务可在集群内均衡分布访问的IP流量。网络负载均衡增强了Web服务器、流媒体服务器、终端服务器等Internet服务器程序的可用性和扩展性。
大多数模式下,集群中所有的计算机拥有一个共同的名称,集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加入组件。
一个Cluster包含多台(至少二台)拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时,应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。
Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时,这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时,应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时,客户将能很快连接到新的应用服务上。
集群的硬件配置
镜像服务器双机
集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案,通常镜像服务的硬件配置需要两台服务器,在每台服务器有独立操作系统硬盘和数据存贮硬盘,每台服务器有与客户端相连的网卡,另有一对镜像卡或完成镜像功能的网卡。
镜像服务器具有配置简单,使用方便,价格低廉诸多优点,但由于镜像服务器需要采用网络方式镜像数据,通过镜像软件实现数据的同步,因此需要占用网络服务器的CPU及内存资源,镜像服务器的性能比单一服务器的性能要低一些。
有一些镜像服务器集群系统采用内存镜像的技术,这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步,当主机出现故障时,备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致,但当系统应用程序带有缺陷从而导致系统宕机时,两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步,在大数据量读写过程中两台服务器在某些状态下会产生数据不同步,因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。
硬件配置范例:
网络服务器 两台
服务器操作系统硬盘 两块
服务器数据存贮硬盘 视用户需要确定
服务器镜像卡(部分软件可使用标准网卡) 两块
网络服务网卡 两块三、双机与磁盘阵列柜
与镜像服务器双机系统相比,双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜,目前,豪威公司、精业公司等许多公司都生产有磁盘阵列柜,在磁盘阵列柜中安装有磁盘阵列控制卡,阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连,系统管理员需直接在磁盘柜上配置磁盘阵列。
双机与磁盘阵列柜互联结构不采用内存镜像技术,因此需要有一定的切换时间(通常为60?D?D180秒),它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机,同时由于所有的数据全部存贮在中置的磁盘阵列柜中,当工作机出现故障时,备份机接替工作机,从磁盘阵列中读取数据,所以不会产生数据不同步的问题,由于这种方案不需要网络镜像同步,因此这种集群方案服务器的性能要比镜像服务器结构高出很多。
双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷,所谓单点错是指当系统中某个部件或某个应用程序出现故障时,导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错,当磁盘阵列柜出现逻辑或物理故障时,所有存贮的数据会全部丢失,因此,在选配这种方案时,需要选用一个品质与售后服务较好的产品。
硬件配置范例:
网络服务器 两台
服务器操作系统硬盘 两块
第三方生产的磁盘阵列柜 一台
磁盘柜专用SCSI电线 两根
磁盘阵列柜数据存贮硬盘 视用户需求确定
网络服务网卡 两块
除此之外,一些厂商还有更优秀的技术的解决方案,比如 HP
HP双机双控容错系统
HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础……
HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点,相互配合二者的优势。
硬件配置范例:
HP L系统的网络服务器 两台
服务器操作系统硬盘 两块
HP硬盘存贮柜(SS/6,RS/8,RS/12) 一台
磁盘柜专用SCSI集群适配电缆 两根
磁盘柜数据存贮硬盘 视用户需求确定
HP集群专用阵列卡 两块
网络服务网卡 两块五、HP光纤通道双机双控集群系统
光纤通道是一种连接标准,可以作为SCSI的一种替代解决方案,光纤技术具有高带宽、抗电磁干扰、传输距离远、质量高、扩展能力强等特性,目前在FC-AL仲裁环路上可接入126个设备。
光纤设备提供了多种增强的连接技术,大大方便了用户使用。服务器系统可以通过光缆远程连接,最大可跨越10公里的距离。它允许镜像配置,这样可以改善系统的容错能力。服务器系统的规模将更加灵活多变。SCSI每条通道最多可连接15个设备,而光纤仲裁环路最多可以连接126个设备。
光纤集群系统组成:
HP光纤集群系统硬件设备包括有两台HP服务器(需支持光纤卡,目前有LC2000、LH3000、LH4、 LH6000、LT6000、LXr8000、LXR8500)及光纤适配卡,可以使用RS/12FC光纤磁盘阵列柜,需另加一对或两对网卡用于心跳检测和与客户端连接。在配置过程中还需另外选配光纤卡到光纤存贮设备的光纤电缆。
硬件配置:
HPL系统的网络服务器 两台
服务器操作系统硬盘 两块
HP光纤阵列存贮柜(RS/12FC) 一台
光纤磁盘柜专用光纤电缆 两根
光纤磁盘柜数据存贮硬盘 视用户需求确定
HP光纤适配卡 两块
网络服务网卡 两块
集群的软件配置
基于NT平台的集群软件
Microsoft的MSCS,也有许多第三方的专业软件公司开发的集群软件,如豪威的DATAWARE,VIN CA公司的STANDBY SERVER,NSI公司的DOUBLE-TAKE
MS WolfPack的特点
MS WolfPack是MS Cluster server的别称,是 微软针对Cluster技术研制开发的双机软件。它集成在NT SERVER上,支持由二台机器组成的双机系统,提供一种高可用且易管理的应用环境。
主要特点:
自动检测和修复服务器或应用程序的错误
可实现对服务器中应用程序的切换
可通过TCP/IP连接各种客户端,如MS-DOS、WINDOWS 3X/9X/NT,Apple Macintosh、UNIX等
生产主机无需人工干涉即可自动恢复数据并接管任务
易管理性:
可自动审核服务器和应用程序的工作状态
可建立高可用性的应用程序、文件共享、打印请求等
可灵活设置应用程序和数据的恢复策略
简单操作即可进行应用程序的离线,重新再线,服务器间的迁移。
目前,WINDOWS 2000 Advanced Server与WINDOWS 2000 DataCenter Server都集成有更先进集群技术。
其它的网络操作系统平台上也有许多集群软件,比如:
基于novell平台的集群软件有Novell HA Server、Novell SFT III
基于sco UNIX平台的集群软件有Sentinel集群软件
基于Linux平台的集群软件有TurboCluster
集群技术的发展趋势
集群技术随着服务器硬件系统与网络操作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问,并且生成一个完整的系统映像。这样,无论应用程序在集群中的哪台服务器上,集群文件系统允许任何用户(远程或本地)都可以对这个软件进行访问。任何应用程序都可以访问这个集群任何文件。甚至在应用程序从一个节点转移到另一个节点的情况下,无需任何改动,应用程序就可以访问系统上的文件。
0条评论