大型网站服务器租用需要考虑的有哪些?

大型网站服务器租用需要考虑的有哪些?,第1张

既然说了大型,首先要考虑的就是高用户并发的情况。这就需要结合你实际用户端应用场景,视频都双向传输和简单的低通量的文本交互一定不是一个概念。做大型的系统,还要考虑平时的情况和突发的高占用率情况。

首先我们先对应用做一个分类:

1高带宽消耗累应用

这个方面的代表就是直播相关或网络教学领域。直播系统的大体原理,主播手机采集音视频、编码,然后推送一个视频流给服务器(实际上是一个做了负载均衡的视频服务器矩阵组)。然后负责实时流媒体数据流接收的服务器,会将流媒体数据流推送给分发服务器(现在有现成的CDN,这样开发难度就小了很多。)然后观众申请观看的时候,分发服务器就会将所申请的时时流媒体推荐给客户。

这么粗糙的应用就可能包换用户端权限管理服务器组,业务调度服务器组,不同区域IDC建立的接入服务器组,不同区域IDC建立的分发服务器组,分等级的数据存储服务器组,ai内容审核服务器组(基于分流实时分析,预设内容审核规则),归档视频存储服务器组,短视频评级推荐服务器组,应用兴趣行为分析服务器组。客户在请求交互的时候可能还会有一些缓冲的队列呀,nosql之类的(redis,memcache)。各组服务器的规格和数量都是根据同时并发的情况定的,在程序开发好的时间可以通过自动化的方式模拟高并发,再通过查看分析瓶颈,而对前期的规划做出合适的调整。

有些时间还要实现不经过分发,交互直通以降低延时。pk的连线的时候,太高延时是接受不了的。这个就不继续展开了。

还有网盘类应用也也很多类似,只是延时要求没那么高。传统的视频网站也是基本相同原理。

传统的微博也是类似的分发机制。

2低延时需求型

这方面一般是以网络游戏为主。对于一些点电子竞技类的应用,做到80ms以下的低延时是必须。服务器的核心响应速度和带宽的低延时是重点。这种服务器最好可以独享一条专线,或者在虚拟网络系统中设置一个更高的优先级,数据线优先同行也会尽可能的降低延时。至于服务器组之间的vpc也应该有一个更高的通过优先级,以保证服务器之间的访问延时极地。这种应用服务器,最好要支持核心运算,不过这个要开发的架构支持。

再就是后期用户量大的时候,做更新包下载的时候会采用分发服务器(CDN)。

3高突发的缓冲

这种都是电商网站,平时就是讲全段应用服务器做彼此依赖,后端选择一个大吞吐,大并发的后端框架(京东使用的go语言对高并发和数据挖掘就有很多优势,我也刚开始学习)。这种系统网元架构就简单很多,传统的负载均衡后挂着不同模块的应用服务器组,然后经过缓冲服务器组,之后到达数据服务器组和APIGateway。

日常的应用都是没啥问题,都是因为一些节日或促销,或爆款等发生临时性数据操作的拥堵。解决这种缓冲都方式有很多,比如临时快速读写缓存,消息队列等。甚至开发总线通信队列等待机制,很多解决方案。

现在系统本身的规划和后期都优化都有许多解决方案,现在的瓶颈往往是系统间的交互通信。

服务器种类各云服务商都称呼也不一致,总体说分为轻量应用服务器,负载均衡服务器,超算服务器(CPU和GPU两个方向,后者也常常被成为图形处理服务器。)数据服务器(常见的版本都有),文件服务器(nas和oss),分发服务器,缓冲服务器,数据分析服务器。我项目中使用大大类就这些了,也许有些我没用过和不知道的,希望大家在讨论区补充纠正。

希望对你认知有所拓展。

具有融合通信平台的应急调度系统是应用较为广泛的一类。近期有看到捷思锐推出融合通信平台的解决方案,系统构成分为地面指挥中心核心调度平台、接入网关设备、移动指挥中心、已有通信设备接入系统四大部分。

其中地面指挥中心调度平台主要配置有:调度服务器、录音录像服务器、视频业务服务器、视频分析服务器等服务器设备,用于语音/视频终端的注册、语音/视频业务的交换。

接入网关设备主要用于语音、视频终端的接入、以及各种网络的接入。针对不同终端类型和网络类型选配合适的网关设备,有无线中继网关、无线集群网关、IP广播网关、综合语音网关、视频接入网关,所有网关均支持灵活扩容和堆叠,并支持IP远程部署。

移动指挥中心即在车上部署全套调度平台和车载无线宽带网络,指挥人员在车上就能实现地面指挥中心的全部应急调度功能;通过车载无线宽带网络实现现场救援人员的应急调度,并能够通过卫星网络/3G网络和地面指挥中心互联互通。

对于已有的通信系统,可以通过IP网络和专用网络接入到应急指挥调度平台,通过应急调度平台实现对已有通信系统的联动调度。与此同时,还可以融合原有的语音系统、视频监控系统、应急预案系统、应急告警系统、呼叫中心系统以及专业业务系统等。

一.网络设备设施

网络架构、设施设备是整个系统得以顺畅运作的硬件基础,用足够的机器、容量去承受攻击,充分利用网络设备保护网络资源是一种较为理想的应对策略,说到底攻防也是双方资源的比拼,在它不断访问用户、夺取用户资源之时,自己的能量也在逐渐耗失。相应地,投入资金也不小,但网络设施是一切防御的基础,需要根据自身情况做出平衡的选择。

1 扩充带宽硬抗

网络带宽直接决定了承受攻击的能力,国内大部分网站带宽规模在10M到100M,知名企业带宽能超过1G,超过100G的基本是专门做带宽服务和抗攻击服务的网站,数量屈指可数。但DDoS却不同,攻击者通过控制一些服务器、个人电脑等成为肉鸡,如果控制1000台机器,每台带宽为10M,那么攻击者就有了10G的流量。当它们同时向某个网站发动攻击,带宽瞬间就被占满了。增加带宽硬防护是理论最优解,只要带宽大于攻击流量就不怕了,但成本也是难以承受之痛,国内非一线城市机房带宽价格大约为100元/M月,买10G带宽顶一下就是100万,因此许多人调侃拼带宽就是拼人民币,以至于很少有人愿意花高价买大带宽做防御。

2 使用硬件防火墙

许多人会考虑使用硬件防火墙,针对DDoS攻击和黑客入侵而设计的专业级防火墙通过对异常流量的清洗过滤,可对抗SYN/ACK攻击、TCP全连接攻击、刷脚本攻击等等流量型DDoS攻击。如果网站饱受流量攻击的困扰,可以考虑将网站放到DDoS硬件防火墙机房。但如果网站流量攻击超出了硬防的防护范围(比如200G的硬防,但攻击流量有300G),洪水瞒过高墙同样抵挡不住。值得注意一下,部分硬件防火墙基于包过滤型防火墙修改为主,只在网络层检查数据包,若是DDoS攻击上升到应用层,防御能力就比较弱了。

3 选用高性能设备

除了防火墙,服务器、路由器、交换机等网络设备的性能也需要跟上,若是设备性能成为瓶颈,即使带宽充足也无能为力。在有网络带宽保证的前提下,应该尽量提升硬件配置。

二、有效的抗D思想及方案

硬碰硬的防御偏于“鲁莽”,通过架构布局、整合资源等方式提高网络的负载能力、分摊局部过载的流量,通过接入第三方服务识别并拦截恶意流量等等行为就显得更加“理智”,而且对抗效果良好。

4 负载均衡

普通级别服务器处理数据的能力最多只能答复每秒数十万个链接请求,网络处理能力很受限制。负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性,对DDoS流量攻击和CC攻击都很见效。CC攻击使服务器由于大量的网络传输而过载,而通常这些网络流量针对某一个页面或一个链接而产生。在企业网站加上负载均衡方案后,链接请求被均衡分配到各个服务器上,减少单个服务器的负担,整个服务器系统可以处理每秒上千万甚至更多的服务请求,用户访问速度也会加快。

5 CDN流量清洗

CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率,因此CDN加速也用到了负载均衡技术。相比高防硬件防火墙不可能扛下无限流量的限制,CDN则更加理智,多节点分担渗透流量,目前大部分的CDN节点都有200G 的流量防护功能,再加上硬防的防护,可以说能应付目绝大多数的DDoS攻击了。这里我们推荐一款高性比的CDN产品:百度云加速,非常适用于中小站长防护。相关链接

6 分布式集群防御

分布式集群防御的特点是在每个节点服务器配置多个IP地址,并且每个节点能承受不低于10G的DDoS攻击,如一个节点受攻击无法提供服务,系统将会根据优先级设置自动切换另一个节点,并将攻击者的数据包全部返回发送点,使攻击源成为瘫痪状态,从更为深度的安全防护角度去影响企业的安全执行决策。

流媒体服务器配置要求

1、流媒体服务器带宽要求。在选择流媒体服务器时,独享带宽比共享带宽更加有利,10M独享带宽比100M共享带宽速度要快。同时,要选择冗余带宽充足、易于扩展的IDC服务商,以便满足后期用户的增加对带宽需求的增加。

2、流媒体服务器需要中上配置支持。由于视频占用的容量较大,为了更好的调度文件传输,中上配置的流媒体服务器才能减少冗余,紧密结合各部件,进行控制协调。如果租用配置没那么高的流媒体服务器,当访问多时,整体任务加大时,超过各线程所能承载的范围,必会造成服务器的崩溃。所以一般视频网站内存需要8G/16G内存的流媒体服务器,甚至更大。

3、流媒体服务器需要一个好的机房。一个好的流媒体服务器机房是保证存放在服务器里面的视频网站正常运行。如视频服务器机房数据中心的安全指数、网络资源的布置、外接电源断时,是否有自己的备用电源保证网站正常运行等这些都是保证网站不受木马,蠕虫,网页病毒等的感染而使网站的稳定受到影响,数据传输受损,而导致视频质量出现问题。感兴趣的话点击此处,免费了解一下

深圳市亿万克数据设备科技有限公司是研祥高科技控股集团旗下的全资子公司。研祥集团作为中国企业500强,持续运营30年。研祥集团全球49个分支机构,三个国家级创新平台,一直致力于技术创新引领行业发展。拥有1100多项授权专利,1300项非专利核心技术。

从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构(SMP:SymmetricMulti-Processor),非一致存储访问结构(NUMA:Non-UniformMemoryAccess),以及海量并行处理结构(MPP:MassiveParallelProcessing)。

一、SMP(SymmetricMulti-Processor)

所谓对称多处理器结构,是指服务器中多个CPU对称工作,无主次或从属关系。各CPU共享相同的物理内存,每个CPU访问内存中的任何地址所需时间是相同的,因此SMP也被称为一致存储器访问结构(UMA:UniformMemoryAccess)。对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O(槽口数与总线数)以及添加更多的外部设备(通常是磁盘存储)。

SMP服务器的主要特征是共享,系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征,导致了SMP服务器的主要问题,那就是它的扩展能力非常有限。对于SMP服务器而言,每一个共享的环节都可能造成SMP服务器扩展时的瓶颈,而最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源,因此随着CPU数量的增加,内存访问冲突将迅速增加,最终会造成CPU资源的浪费,使CPU性能的有效性大大降低。实验证明,SMP服务器CPU利用率最好的情况是2至4个CPU。

二、NUMA(Non-UniformMemoryAccess)

由于SMP在扩展能力上的限制,人们开始探究如何进行有效地扩展从而构建大型系统的技术,NUMA就是这种努力下的结果之一。利用NUMA技术,可以把几十个CPU(甚至上百个CPU)组合在一个服务器内。

NUMA服务器的基本特征是具有多个CPU模块,每个CPU模块由多个CPU(如4个)组成,并且具有独立的本地内存、I/O槽口等。由于其节点之间可以通过互联模块(如称为CrossbarSwitch)进行连接和信息交互,因此每个CPU可以访问整个系统的内存(这是NUMA系统与MPP系统的重要差别)。显然,访问本地内存的速度将远远高于访问远地内存(系统内其它节点的内存)的速度,这也是非一致存储访问NUMA的由来。由于这个特点,为了更好地发挥系统性能,开发应用程序时需要尽量减少不同CPU模块之间的信息交互。利用NUMA技术,可以较好地解决原来SMP系统的扩展问题,在一个物理服务器内可以支持上百个CPU。比较典型的NUMA服务器的例子包括HP的Superdome、SUN15K、IBMp690等。

但NUMA技术同样有一定缺陷,由于访问远地内存的延时远远超过本地内存,因此当CPU数量增加时,系统性能无法线性增加。如HP公司发布Superdome服务器时,曾公布了它与HP其它UNIX服务器的相对性能值,结果发现,64路CPU的Superdome(NUMA结构)的相对性能值是20,而8路N4000(共享的SMP结构)的相对性能值是63。从这个结果可以看到,8倍数量的CPU换来的只是3倍性能的提升。

三、MPP(MassiveParallelProcessing)

和NUMA不同,MPP提供了另外一种进行系统扩展的方式,它由多个SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)通过节点互联网络连接而成,每个节点只访问自己的本地资源(内存、存储等),是一种完全无共享(ShareNothing)结构,因而扩展能力最好,理论上其扩展无限制,目前的技术可实现512个节点互联,数千个CPU。目前业界对节点互联网络暂无标准,如NCR的Bynet,IBM的SPSwitch,它们都采用了不同的内部实现机制。但节点互联网仅供MPP服务器内部使用,对用户而言是透明的。

在MPP系统中,每个SMP节点也可以运行自己的操作系统、数据库等。但和NUMA不同的是,它不存在异地内存访问的问题。换言之,每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(DataRedistribution)。

但是MPP服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器往往通过系统级软件(如数据库)来屏蔽这种复杂性。举例来说,NCR的Teradata就是基于MPP技术的一个关系数据库软件,基于此数据库来开发应用时,不管后台服务器由多少个节点组成,开发人员所面对的都是同一个数据库系统,而不需要考虑如何调度其中某几个节点的负载。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 大型网站服务器租用需要考虑的有哪些?

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情