节点服务器的服务器集群技术

节点服务器的服务器集群技术,第1张

集群技术的出现和IA架构服务器的快速发展为社会的需求提供了新的选择。它价格低廉,易于使用和维护,而且采用集群技术可以构造超级计算机,其超强的处理能力可以取代价格昂贵的中大型机,为行业的高端应用开辟了新的方向。

集群技术是一种相对较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益。

21世纪,在世界各地正在运行的超级计算机中,有许多都是采用集群技术来实现的。

集群是由一些互相连接在一起的计算机构成的一个并行或分布式系统。这些计算机一起工作并运行一系列共同的应用程序,同时,为用户和应用程序提供单一的系统映射。从外部来看,它们仅仅是一个系统,对外提供统一的服务。集群内的计算机物理上通过电缆连接,程序上则通过集群软件连接。这些连接允许计算机使用故障应急与负载平衡功能,而故障应急与负载平衡功能在单机上是不可能实现的。

服务器集群系统通俗地讲就是把多台服务器通过快速通信链路连接起来,从外部看来,这些服务器就像一台服务器在工作,而对内来说,外面来的负载通过一定的机制动态地分配到这些节点机中去,从而达到超级服务器才有的高性能、高可用。

集群的优点

高可伸缩性:服务器集群具有很强的可伸缩性。随着需求和负荷的增长,可以向集群系统添加更多的服务器。在这样的配置中,可以有多台服务器执行相同的应用和数据库操作。

高可用性:高可用性是指,在不需要操作者干预的情况下,防止系统发生故障或从故障中自动恢复的能力。通过把故障服务器上的应用程序转移到备份服务器上运行,集群系统能够把正常运行时间提高到大于999%,大大减少服务器和应用程序的停机时间。

高可管理性:系统管理员可以从远程管理一个、甚至一组集群,就好象在单机系统中一样。

MaterialsStudio是一套材料科学的仿真软件,MS是在化学和材料领域,为结构和计算器研究者所设计的专业仿真软件,提供用户流畅的操作接口,并包含完整的运算方法,让使用者容易上手并提供功能强大的仿真能力。

研究者通过MS提供的先进丰富多种算法进行综合分析计算,在性质预测、聚合物建模还是X射线衍射模拟,通过一些简单易学的操作来得到切实可靠的数据。协助科学家解决重要问题,研发世界上最先进的材料。

XASUN当今世界唯一能提供塔式、机架、便携式、特种结构等规格,提供单路、双路、四路、八路最先进架构的高端图形工作站,XASUN紧随世界领先的intel和AMD的计算处理硬件主流技术,和Nvidia和ATI高性能图卡以及一流的硬盘阵列技术,打造出具有超级性能的XASUN图形工作站和服务器,同时充分了解不同行业应用软件的计算特点,灵活方便的配置架构,使应用软件在任何一台支持基于Windows、Linux等主流操作系统的服务器或工作站上最高效率的进行运算,从而最大限度的发挥工作站硬件性能和网络资源。

分子模拟(材料计算)求解过程计算特点分析

主要集中在对CPU和内存方面,MS软件支持主流CPU的多核并行计算,在一个架构里,频率越高,核数,计算速度越快,内存方面主要体现在计算的规模上,随着对自然世界的深入了解和分析,分析精度越来越高,计算量也越来越大,对内存的要求也在不断递增,由于求解运算过程中大量时间都在计算中,对显卡的要求自然不高,图卡主要是后期对数据的可视化有些需求,另外MS软件运算特点是将数据一次性放到内存进行密集计算,自然对硬盘外设的读写不是很频繁,传统上SATA接口也足够了,如果内存不够,虚拟内存很大的话,推荐SAS硬盘,当然将来SSD便宜下来,内存和虚拟内存的比例1:2,可以考虑采用SSD硬盘

硬件配置关系注意事情:

1.经过厂家推荐,目前12核不建议使用,8核Xeon架构效率更高

2.CPU—内存关系,1核---对应配置---2G~4G,8核处理器对应内存16GB~32GB

3.显卡要求不高,针对不同的计算规模,配置相应档次图卡,满足后期数据可视化需求。

4.硬盘IO在计算过程中,影响不大,资金充足的话,视多种计算软件,SAS6Gbps是目前相当不错的选择

XASUN图形工作站配置方案

MS软件配备丰富的应用功能模块,硬件如何配合好所有软件模块,非一般经验的硬件工程师所能了解的,今天我们对计算规模按原子数量初步划分,大致分三个档次:

1.小规模计算工作站配置方案

定位:原子数不超过100个求解规模

推荐:4核Xeon3470(293G)/16GB/Quadro600/1TBSATA

机器型号XASUNT512912-T1AA

主要配置

4核Xeon293/12GB/QadroFX3800/300GSAS

硬件配置明细

配件

品牌和型号

数量

CPU

4核XeonX3470

1

293G/8MB/超线程/睿频

芯片组

intelS5520Chips

1

内存

2GDDR31333RegECC

6

显卡

NvidiaQuadro6001GB

1

系统盘

1TBSATA企业级

1

光驱

DVD刻录机

1

网卡

千兆以太端口

2

工作站平台

XASUNSSIEC105P7S(700WEPS)

1

显示器

优派23专业显示器

1

噪音控制系统

静音级(全速计算45分贝以内)

硬件性能指标

CPU

运算速度每秒469亿次

GPU

几何三角形处理:21亿/秒,支持12

单屏幕,最高分辨率25601600

几何三角形3亿/秒,像素填充率380亿/秒

支持32X全景反锯齿(FSAA)

支持30位色彩精度

1GBGDDR3显存

硬盘

IO读写带宽100MB/S,IOPS200次/秒

网络端口

通过汇聚功能,实现2Gbps

硬件升级能力

CPU

支持Xeon3400全系列

显卡

支持NvidaiQuadro和ATIFirepro系列

内存槽

6个,单根内存最大4GB,最大容量24GB

硬盘位

4个,单块最大SATA:2TB

PCI扩展

1PCIEx8,2PCIEx4,3PCI-X

操作系统

支持WindowsServer2003、2008

支持WindowsXP、Vista、7

支持Redhat、SuseLinux全系列

应用软件

基于windows、linux环境下软件全系列

报价

¥26,800元

2.中大规模计算高端图形工作站配置方案

应用定位:原子数100~1000个之间求解规模

推荐:8核XeonX5677(346G)/24GB/quadro2000/1TBSAS

如果从软件和硬件的价格对比,买一台配置最高的图形工作站,是最好的发挥软件性能的不二选择。

机器型号XASUNT523524-A1AB

参考配置:

硬件配置明细

配件

品牌和型号

数量

CPU

4核XeonX5677

2

346G/12MB/64GTs/超线程/Turbo

芯片组

intelS5520Chips

1

内存

4GDDR31333RegECC

6

显卡

NvidiaQuadro20001GB

1

系统盘

1TBSAS6Gbps

1

光驱

DVD刻录机

1

网卡

千兆以太端口

2

工作站平台

XASUNSDA6C105PAS(1000WEPS)

1

显示器

可选

噪音控制系统

静音级(全速计算45分贝以内)

硬件性能指标

CPU

运算速度每秒1107亿次

GPU

几何三角形处理:41亿/秒,

最高分辨率25601600

192个流处理器,1GB缓存,64X反锯齿

硬盘

IO读写带宽100MB/S,IOPS200次/秒

网络端口

通过汇聚功能,实现2Gbps

硬件升级能力

CPU

支持Xeon5600全系列

显卡

支持QuadroFX全系列,支持双QuadroPlex

内存槽

12个,单根内存最大16GB,最大容量192GB

硬盘位

4个,单块最大SAS:1TB、SATA:2TB

PCI扩展

1PCIEx8,2PCIEx4,3PCI-X

操作系统

支持WindowsServer2003、2008

支持WindowsXP、Vista、7

支持Redhat、SuseLinux全系列

应用软件

基于windows、linux环境下软件全系列

报价

¥49,500元

3.超大规模计算分布式集群服务器解决方案

定位:原子数1000个以上求解规模

下面的方案主要是基于办公环境的计算应用,Xeon架构的计算机单机性能越来越强大,最新Xeon5600和单核时代的Xeon相比,快15倍以上,所以基于办公环境的小集群(40核以内),放在办公环境,计算性能满足大部分应用,同时也便于维护和使用。

22U高度(4U5+1U+1U)

集群方案:

管理节点配置:8核XeonE5605(213G)/8GB/600GSAS+41TBSATA

计算节点配置:8核XeonE5640(266G)/24GB/500GSATA

计算节点数量:4个

硬件参考配置方案

1.图形管理服务器(管理节点)

机器型号:XASUNR522724-T8ARC

主要配置

8核Xeon24/24GB/Qadro4000/600GSAS+8TB阵列

硬件配置明细

配件

品牌和型号

数量

CPU

4核XeonE5620

2

266G/12MB/64GTs/超线程/Turbo

芯片组

intelS5500Chips

1

内存

4GDDR31333RegECC

6

显卡

NvidiaQuadro40002GB

1

系统盘

600GSAS6Gbps

1

超级阵列

1TBSATA企业级

8

8portSAS2-RAID

1

光驱

DVD刻录机

1

网卡

千兆以太端口(可选万兆或IB卡)

2

工作站平台

XASUNSA6R416PAS(1000WEPS)

1

2计算节点

机器型号XASUNX5600U22748AD

主要配置

8核Xeon306/48GB/QadroFx5800+Gsync/300GSAS

硬件配置明细

配件

品牌和型号

数量

CPU

4核XeonX5667

2

306G/12MB/64GTs/超线程/Turbo

芯片组

intelS5520Chips

内存

4GDDR31333RegECC

6

显卡

集成

1

系统盘

500GSATA

1

光驱

DVD

1

网卡

千兆以太端口

2

服务器平台

XASUNSA6U416PAS(1000WEPS)

1

3服务器集群设备汇总表

NO

品牌和型号

数量

硬件配置明细

图形服务器集群

11

管理图形存储服务器

1

12

计算服务器(计算节点)

4

13

8口千兆交换机

1

14

8口KVM切换器

1

15

22U机柜

1

可选设备

16

IB交换机

1

17

IB卡或万兆以太网卡

1

18

稳压电源(20KV)

1

19

集群硬件性能指标

CPU指标

浮点运算速度每秒3917亿次

海量存储

IO读写带宽700MB/S,IOPS400次/秒

网络端口

通过汇聚功能,实现2Gbps

噪音控制系统

静音级(全速计算45分贝以内)

合计

¥1,800,000元

XASUN图形工作站简介

XASUN是当今市场唯一能提供塔式、机架、便携、特种服务器、工作站、图形服务器等全方面解决方案的品牌。

拥有完整、完美、可靠、静音的高性能计算机全套产品系列,为行业用户提供超级强劲性能的计算解决方案专业、高效的定制工作站配置方案。

materialstudio软件对CPU和内存要求较高。

配置在于CPU和内存,对显卡没要求,那么就可以按照这个思路去配电脑。

按照这个预算,CPU可以选择AMD的5950X,16核32线程,真正的性能怪兽,搭配B550或者X570主板,京东上套装价格6、7千,CPU散热器选个高端风冷就可以5、6百。

集群和负载均衡的区别如下:

1、集群(Cluster)

所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信应用程序可以通过网络共享内存进行消息传送,实现分布式计算机

2、负载均衡(Load Balance)

网络的负载均衡是一种动态均衡技术,通过一些工具实时地分析数据包,掌握网络中的数据流量状况,把任务合理均衡地分配出去这种技术基于现有网络结构,提供了一种扩展服务器带宽和增加服务器吞吐量的廉价有效的方法,加强了网络数据处理能力,提高了网络的灵活性和可用性

3、特点

(1)高可靠性(HA)利用集群管理软件,当主服务器故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务

(2)高性能计算(HP)即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域,比如基因分析化学分析等

(3)负载平衡即把负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求

LVS系统结构与特点

1 Linux Virtual Server:简称LVS是由中国一个Linux程序员章文嵩博士发起和领导的,基于Linux系统的服务器集群解决方案,其实现目标是创建一个具有良好的扩展性高可靠性高性能和高可用性的体系许多商业的集群产品,比如RedHat的Piranha Turbo Linux公司的Turbo Cluster等,都是基于LVS的核心代码的

2 体系结构:使用LVS架设的服务器集群系统从体系结构上看是透明的,最终用户只感觉到一个虚拟服务器物理服务器之间可以通过高速的 LAN或分布在各地的WAN相连最前端是负载均衡器,它负责将各种服务请求分发给后面的物理服务器,让整个集群表现得像一个服务于同一IP地址的虚拟服务器

3 LVS的三种模式工作原理和优缺点: Linux Virtual Server主要是在负载均衡器上实现的,负载均衡器是一台加了 LVS Patch的22x版内核的Linux系统LVS Patch可以通过重新编译内核的方法加入内核,也可以当作一个动态的模块插入现在的内核中

越来越多的企业开始使用Hadoop来对大数据进行处理分析,但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。而在这篇文章中,我们将探讨如何为Hadoop集群构建高性能网络,这是对大数据进行处理分析的关键所在。

关于Hadoop

“大数据”是松散的数据集合,海量数据的不断增长迫使企业需要通过一种新的方式去管理。大数据是结构化或非结构化的多种数据类型的大集合。而 Hadoop则是Apache发布的软件架构,用以分析PB级的非结构化数据,并将其转换成其他应用程序可管理处理的形式。Hadoop使得对大数据处理成为可能,并能够帮助企业可从客户数据之中发掘新的商机。如果能够进行实时处理或者接近实时处理,那么其将为许多行业的用户提供强大的优势。

Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的,其可在通用的网络和服务器硬件上进行部署,并使之成为计算集群。

Hadoop模型

Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元,以能够被查询处理。同一个节点的计算资源用于并行查询处理。当任务处理结束后,其处理结果将被汇总并向用户报告,或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。

为了最大限度地减少处理时间,在此并行架构中,Hadoop“moves jobs to data”,而非像传统模式那样“moving data to jobs”。这就意味着,一旦数据存储在分布式系统之中,在实时搜索、查询或数据挖掘等操作时,如访问本地数据,在数据处理过程中,各节点之间将只有一个本地查询结果,这样可降低运营开支。

Hadoop的最大特点在于其内置的并行处理和线性扩展能力,提供对大型数据集查询并生成结果。在结构上,Hadoop主要有两个部分:

Hadoop分布式文件系统(HDFS)将数据文件切割成数据块,并将其存储在多个节点之内,以提供容错性和高性能。除了大量的多个节点的聚合I/O,性能通常取决于数据块的大小——如128MB。而传统的Linux系统下的较为典型的数据块大小可能是4KB。

MapReduce引擎通过JobTracker节点接受来自客户端的分析工作,采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务,然后分配给各个TaskTrack节点,并采用主站/从站的分布方式(具体如下图所示):

Hadoop系统有三个主要的功能节点:客户机、主机和从机。客户机将数据文件注入到系统之中,从系统中检索结果,以及通过系统的主机节点提交分析工作等。主机节点有两个基本作用:管理分布式文件系统中各节点以及从机节点的数据存储,以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能,而这些从机节点则由各自的主机节点负责沟通和控制。从节点通常有多个数据块,并在作业期间被分配处理多个任务。

部署实施Hadoop

各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件,部署足够多的服务器以应对任何可能的故障,并部署一个完整机架的系统。

Hadoop模式要求服务器与SAN或者NAS进行直接连接存储(DAS)。采用DAS主要有三个原因,在标准化配置的集群中,节点的缩放数以千计,随着存储系统的成本、低延迟性以及存储容量需求不断提高,简单配置和部署个主要的考虑因素。随着极具成本效益的1TB磁盘的普及,可使大型集群的TB级数据存储在DAS之上。这解决了传统方法利用SAN进行部署极其昂贵的困境,如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器,其中数据节点大约1-2TB,名称控制节点大约在1-5TB之间,具体如下图所示:

对于大多数的Hadoop部署来说,基础设施的其他影响因素可能还取决于配件,如服务器内置的千兆以太网卡或千兆以太网交换机。上一代的CPU和内存等硬件的选择,可根据符合成本模型的需求,采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。采用万兆以太网来部署Hadoop也是相当不错的选择。

万兆以太网对Hadoop集群的作用

千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。使用较大的数据块大小,例如,如果一个节点发生故障(甚至更糟,整个机架宕机),那么整个集群就需要对TB级的数据进行恢复,这就有可能会超过千兆以太网所能提供的网络带宽,进而使得整个集群性能下降。在拥有成千上万个节点的大型集群中,当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时,在系统正常运行过程中,某个千兆以太网设备可能会遭遇网络拥堵。

每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。如果四者之中的任意一个性能相对较差的话,那么系统的潜在处理能力都有可能遭遇瓶颈。添加更多的CPU和内存组建,将影响存储和网络的平衡,如何使Hadoop集群节点在处理数据时更有效率,减少结果,并在Hadoop集群内添加更多的HDFS存储节点。

幸运的是,影响CPU和内存发展的摩尔定律,同样也正影响着存储技术(TB级容量的磁盘)和以太网技术(从千兆向万兆甚至更高)的发展。预先升级系统组件(如多核处理器、每节点5-20TB容量的磁盘,64-128GB内存),万兆以太网卡和交换机等网络组件是重新平衡资源最合理的选择。万兆以太网将在Hadoop集群证明其价值,高水平的网络利用率将带来效益更高的带宽。下图展示了Hadoop集群与万兆以太网的连接:

许多企业级数据中心已经迁移到10GbE网络,以实现服务器整合和服务器虚拟化。随着越来越多企业开始部署Hadoop,他们发现他们完全不必要大批量部署1U的机架服务器,而是部署更少,但性能更高的服务器,以方便扩展每个数据节点所能运行的任务数量。很多企业选择部署2U或4U的服务器(如戴尔 PowerEdge C2100),每个节点大约12-16个核心以及24TB存储容量。在这种环境下的合理选择是充分利用已经部署的10GbE设备和Hadoop集群中的 10GbE网卡。

在日常的IT环境中构建一个简单的Hadoop集群。可以肯定的是,尽管有很多细节需要微调,但其基础是非常简单的。构建一个计算、存储和网络资源平衡的系统,对项目的成功至关重要。对于拥有密集节点的Hadoop集群而言,万兆以太网能够为计算和存储资源扩展提供与之相匹配的能力,且不会导致系统整体性能下降。

=======================================

F5全称: F5-BIG-IP-GTM 全球流量管理器

是一家叫F5 Networks的公司开发的四~七层交换机,软硬件捆绑

据说最初用BSD系统,现在是LINUX;硬件是Intel的PC架构,再加周边的网络和专用加速设备

当然要提提售价, 都是几十万RMB的身价

这宝贝是用于对流量和内容进行管理分配的设备,也就是负载均衡

从名字就能看出来:BIG-IP

外部看来是一个IP,内部可却是几十台应用服务器表现为一个虚拟的大服务器

所以我才说: 好大一个IP

LVS = Linux Virtual Server

是俺们中国人,一个叫章文嵩的博士推创开发出来的,

他的web:http://zhlinuxvirtualserverorg/

IBM网站的资料:集群的可扩展性及其分布式体系结构(4)

博士关于LVS和F5的对比:

关于和F5的差别,很难一句话说明白,都是做负载均衡的设备。

F5虽然也是基于BSD系统修改的(据说最新的基于Linux了),但重要的交换部分,则是通过专门的交换芯片实现的(类似有了专门的图像处理芯片,就可以省去大量的CPU对图像处理的运算),这样他的性能就不会很依赖于主机的操作系统的处理能力。

F5上负载均衡大多是基于NAT/SNAT,也可以实现Proxy,但用的较少,做为一个上市公司,F5自然在产品化程度上做的很好,无论配置管理方便性、灵活性,性能和稳定性上都比较好。

LVS在NAT模式下,和F5的功能基本上是一样的,但毕竟LVS是纯粹的软件,性能是依赖于主机的运算能力的。

而且,LVS是开源的项目,不应该和一个商业产品来比较,人家那是卖钱的,有很多人来维护和开发,而LVS一直是章博士义务来维护开发的,想要更好的功能,就需要有更多的人参与进来才行。

说的相当透彻了

DNS轮询是做负载均衡最简单有效的实现方法,各方面代价都极低货好便宜量又足

缺点就是由于没有检测机制, 不够均衡,容错反应时间长

国内门户用这个技术的很多,配合squid有很好的效果

当然,不做负载均衡, 直接从多个ISP拉几根线,分别提供服务是最原始的方法

CDN = Content Delivery Network,内容分发网络。

细究起来上面的都是cdn的实现方式

国内开放的服务很少(chinacache),国外却非常流行

就是提供缓存节点,把目标网络内容的访问转化为临近节点的访问

响应速度/安全/透明/扩展,特别是中国这种还没解放台湾就南北分裂的网络格局下,更为伟大

不过也是贵族的服务,建设成本很高

ADSL + DDNS + CDN 也算是另一个建小站的途径了

把空间的租用费用投资在流量上, 直接有效 不过电费和稳定性上不容乐观

其实CDN不只是做网站服务的, 比如在韩国,多数的CND流量都是被网络游戏占用了

试想,如果能大范围铺开CDN节点, 那还有必要一个游戏分那么多区,占用那么多服务器么

结论是还有必要 虽然确实访问连接和响应速度对现在的网络游戏有很大影响,但开发瓶颈更在于计算能力和数据存储访问

又一个试想, 把CDN和P2P结合, 上网的个人PC只要提供CDN服务, 就可以每月获的xx美金的佣金由资讯和应用提供商买单

怎么看这都是个良性发展的产业链, 就像google明年要推出免费手机,让广告商买单一样

不过唯一不高兴的就应该是ISP们了,现在bt这样的共享都被封杀

除非这个业务被他们自己垄断,不然也是僵尸的下场

用户也不是百利无害的, 数据安全和资讯及时有挑战

GV们也不是看戏的,现在还有网站可以封,写个blog都要100万注册资金;

如果一堆SSL加密的数据四处流窜,神龙无首无尾,怎么屏蔽过滤,怎么防川啊~

回望眼,越看越像网摘,索性就再摘段完整的

F5功能介绍:

1多链路的负载均衡和冗余

与互联网络相关的关键业务都需要安排和配置多条ISP接入链路以保证网络服务的质量,消除单点故障,减少停机时间。多条ISP接入的方案并不是简单的多条不同的广域网络的路由问题,因为不同的ISP有不同自治域,所以必须考虑到两种情况下如何实现多条链路的负载均衡:

more

less

内部的应用系统和网络工作站在访问互联网络的服务和网站时如何能够在多条不同的链路中动态分配和负载均衡,这也被称为OUTBOUND流量的负载均衡。

互联网络的外部用户如何在外部访问内部的网站和应用系统时也能够动态的在多条链路上平衡分配,并在一条链路中断的时候能够智能地自动切换到另外一条链路到达服务器和应用系统,这也被称作为INBOUND流量的负载均衡。

F5 的BIG-IP LC可以智能的解决以上两个问题:

对于OUTBOUND流量,BIG-IP LC接收到流量以后,可以智能的将OUTBOUND流量分配到不同的INTERNET接口,并做源地址的NAT,可以指定某一合法IP地址进行源地址的 NAT,也可以用BIG-IP LC的接口地址自动映射,保证数据包返回时能够正确接收。

对于INBOUND流量,BIG-IP LC分别绑定两个ISP 服务商的公网地址,解析来自两个ISP服务商的DNS解析请求。BIG-IP LC不仅可以根据服务器的健康状况和响应速度回应LDNS相应的IP地址,还可以通过两条链路分别与LDNS建立连接,根据RTT时间判断链路的好坏,并且综合以上两个参数回应LDNS相应的IP地址。

2防火墙负载均衡

考虑到绝大多数的防火墙只能达到线速的30%吞吐能力,故要使系统达到设计要求的线速处理能力,必须添加多台防火墙,以满足系统要求。然而,防火墙必须要求数据同进同出,否则连接将被拒绝。如何解决防火墙的负载均衡问题,是关系到整个系统的稳定性的关键问题。

F5的防火墙负载均衡方案,能够为用户提供异构防火墙的负载均衡与故障自动排除能力。典型的提高防火墙处理能力的方法是采用“防火墙三明治”的方法,以实现透明设备的持续性。这可满足某些要求客户为成功安全完成交易必须通过同一防火墙的应用程序的要求,也能够维护原来的网络安全隔离的要求。F5标准防火墙解决方案如图所示:

防火墙负载均衡连接示意图

3服务器负载均衡

对于所有的对外提供服务的服务器,均可以在BIG-IP上配置Virtual Server实现负载均衡,同时BIG-IP可持续检查服务器的健康状态,一旦发现故障服务器,则将其从负载均衡组中摘除。

BIG-IP利用虚拟IP地址(VIP由IP地址和TCP/UDP应用的端口组成,它是一个地址)来为用户的一个或多个目标服务器(称为节点:目标服务器的IP地址和TCP/UDP应用的端口组成,它可以是internet的私网地址)提供服务。因此,它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。根据服务类型不同分别定义服务器群组,可以根据不同服务端口将流量导向到相应的服务器。BIG-IP连续地对目标服务器进行L4到 L7合理性检查,当用户通过VIP请求目标服务器服务时,BIG-IP根椐目标服务器之间性能和网络健康情况,选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源,将所有流量均衡的分配到各个服务器,我们就可以有效地避免“不平衡”现象的发生。

利用UIE+iRules可以将TCP/UDP数据包打开,并搜索其中的特征数据,之后根据搜索到的特征数据作相应的规则处理。因此可以根据用户访问内容的不同将流量导向到相应的服务器,例如:根据用户访问请求的URL将流量导向到相应的服务器。

4系统高可用性

系统高可用性主要可以从以下几个方面考虑:

41设备自身的高可用性:F5 BIG-IP专门优化的体系结构和卓越的处理能力保证99999%的正常运行时间,在双机冗余模式下工作时可以实现毫秒级切换,保证系统稳定运行,另外还有冗余电源模块可选。在采用双机备份方式时,备机切换时间最快会在200ms之内进行切换。BIG-IP 产品是业界唯一的可以达到毫秒级切换的产品, 而且设计极为合理,所有会话通过Active 的BIG-IP 的同时,会把会话信息通过同步数据线同步到Backup的BIG-IP,保证在Backup BIG-IP内也有所有的用户访问会话信息;另外每台设备中的watchdog芯片通过心跳线监控对方设备的电频,当Active BIG-IP故障时,watchdog会首先发现,并通知Backup BIG-IP接管Shared IP,VIP等,完成切换过程,因为Backup BIG-IP中有事先同步好的会话信息,所以可以保证访问的畅通无阻。

42链路冗余:BIG-IP可以检测每条链路的运行状态和可用性,做到链路和ISP故障的实时检测。一旦出现故障,流量将被透明动态的引导至其它可用链路。通过监控和管理出入数据中心的双向流量,内部和外部用户均可保持网络的全时连接。

43服务器冗余,多台服务器同时提供服务,当某一台服务器故障不能提供服务时,用户的访问不会中断。BIG-IP可以在OSI七层模型中的不同层面上对服务器进行健康检查,实时监测服务器健康状况,如果某台服务器出现故障,BIG-IP确定它无法提供服务后,就会将其在服务队列中清除,保证用户正常的访问应用,确保回应内容的正确性。

5高度的安全性

BIG-IP采用防火墙的设计原理,是缺省拒绝设备,它可以为任何站点增加额外的安全保护,防御普通网络攻击。可以通过支持命令行的SSH或支持浏览器管理的SSL方便、安全的进行远程管理,提高设备自身的安全性;能够拆除空闲连接防止拒绝服务攻击;能够执行源路由跟踪防止IP欺骗;拒绝没有ACK 缓冲确认的SYN防止SYN攻击;拒绝teartop和land攻击;保护自己和服务器免受ICMP攻击;不运行SMTP、FTP、TELNET或其它易受攻击的后台程序。

BIG-IP的Dynamic Reaping特性可以高效删除各类网络DoS攻击中的空闲连接,这可以保护BIG-IP不会因流量过多而瘫痪。BIG-IP可以随着攻击量的增加而加快连接切断速率,从而提供一种具有极强适应能力、能够防御最大攻击量的解决方案。

BIG-IP的Delay Binding技术可以为部署在BIG-IP后面的服务器提供全面地SYN Flood保护。此时,BIG-IP设备作为安全代理来有效保护整个网络。

BIG-IP可以和其它安全设备配合,构建动态安全防御体系。BIG-IP可以根据用户单位时间内的连接数生成控制访问列表,将该列表加载到其它安全设备上,有效控制攻击流量。

6SSL加速

在每台BIG-IP上,都具有SSL硬件加速芯片,并且自带100个TPS的License,用户可以不通过单独付费,就可以拥有100个TPS的 SSL 加速功能,节约了用户的投资。在将来系统扩展时,可以简单的通过License升级的方式,获得更高的SSL加速性能。

7系统管理

BIG-IP提供HTTPS、SSH、Telnet、SNMP等多种管理方式,用户客户端只需操作系统自带的浏览器软件即可,不需安装其它软件。可以通过支持命令行的SSH或支持浏览器管理的SSL方便、安全的进行远程管理。直观易用的Web图形用户界面大服务降低了多归属基础设施的实施成本和日常维护费用。

BIG-IP包含详尽的实时报告和历史纪录报告,可供评测站点流量、相关ISP性能和预计带宽计费周期。管理员可以通过全面地报告功能充分掌握带宽资源的利用状况。

另外,通过F5 的i-Control 开发包,目前国内已有基于i-Control开发的网管软件x-control, 可以定制针对系统服务特点的监控系统,比如服务的流量情况、各种服务连接数、访问情况、节点的健康状况等等,进行可视化显示。

告警方式可以提供syslog、snmp trap、mail等方式。

8其它

内存扩充能力:F5 BIG-IP 1000以上设备单机最大可扩充到2G内存,此时可支持400万并发回话。

升级能力:F5 所有设备均可通过软件方式升级,在服务有效期内,升级软件包由F5公司提供。F5 NETWORKS已经发布其系统的最新版本BIG-IP V90,主要有以下特性:虚拟 IPV4 / IPV6 应用、加速Web应用高达3倍、减少66%甚至更多的基础架构成本、确保高优先级应用的性能、确保更高级别的可用性、大幅提高网络和应用安全性、强大的性能,简单的管理方式、无以匹敌的自适应能力和延展能力和突破的性能表现力。其强大的HTTP压缩功能可以将用户下载时间缩短50%,节省80%的带宽。

IP地址过滤和带宽控制:BIG-IP可以根据访问控制列表对数据包进行过滤,并且针对某一关键应用进行带宽控制,确保关键应用的稳定运行。

配置管理及系统报告:F5 BIG-IP提供WEB 界面配置方式和命令行方式进行配置管理,并在其中提供了丰富的系统报告,更可通过i-Control自行开发复杂的配置及报告生成。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 节点服务器的服务器集群技术

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情