搭建Hadoop集群,一个月6T的数量需要几台服务器?

搭建Hadoop集群,一个月6T的数量需要几台服务器?,第1张

最好是两个做成HA。

6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储,(这里我说的是一个月的,你数据保存几个月,就乘几倍)。

如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了。

一般是这样计算硬盘大小:

(原始数据+中间数据+结果数据)副本数量=总硬盘大小

一个数据中心机柜能放多少服务器是取决于多方便因数的,以下举一个例子来说明下。

例如一个数据中心采用的是42U高的标准机柜,而采用的是2U高550W的服务器。

方案一:如果按照按安装空间来放置服务器,那么一个机柜最多能放置的服务器数量为42U/2U=21(台)。

方案二:由于数据中心机房就是给服务器等设备提供一个安全稳定的运行环境的地方,那么我们在放置服务器的时候就要考虑它的运行环境的维护方面的问题,比如温度不能太高。所以为了方便保持服务器的运行环境,方便服务器的制冷,故建议一个机柜的总功率不要超过10KW。那么按照这个总功率的限制来计算一个机柜的服务器安装数量就为101000W/550W=18(台)。10KW总功率的机柜是高热密度的布置方式,对制冷要求还是很高的,这种机柜需要精密空调精确制冷,所以如果空间允许一般不建议放置那么高热密度的机柜,而一般会建议总功率3KW-6KW的机柜放置方案(3KW的较多),如果是3KW的话,那么一个机柜的服务器安装数量就是31000W/550W=5(台)。

为什么只有13台dns根服务器

最后,让我们了解下全球DNS根服务器为什么只有13台。

DNS协议的最初定义要从20世纪80年代未期开始算起,它使用了端口上的UDP和TCP协议。

UDP通常用于查询和响应,TCP用于主服务器和从服务器之间的区传送遗憾的是,在所有UDP实现中能保证正常工作的最大包长是512字节,对于在每个包中必须含有数字签名的一些DNS新特性(例如,DNSSEC)来说实在是太小了。

512字节的限制还影响了根服务器的数量和名字。

要让所有的根服务器数据能包含在一个512字节的UDP包中,根服务器只能限制在13个,而每个服务器要使用字母表中的单个字母命名。

以太网数据的长度必须在46-1500字节之间,这是由以太网的物理特性决定的。

事实上,这个1500字节就是网络层IP数据包的长度限制,理论上,IP数据包最大长度是65535字节。

这是由IP首部16比特总长度所限制的,去除20字节IP首部和8个字节UDP首部,UDP数据包中数据最大长度为65507字节。

在Internet数据传输中,UDP数据长度控制在576字节(Internet标准MTU值),而在许多UDP应用程序设计中数据包被限制成512字节或更小。这样可以防止数据包的丢失。

许多解析器首先发送一条UDP查询,如果它们接收到一条被截断的响应,则会用TCP重新发送该查询。

这个过程绕过了512字节的限制,但是效率不高。您或许认为DNS应该避开UDP,总是使用TCP,但是TCP连接的开销大得多。

一次UDP名字服务器交换可以短到两个包:一个查询包、一个响应包。一次TCP交换则至少包含7个包:三次握手初始化TCP会话、一个查询包、一个响应包以及最后一次握手来关闭连接。

总结:

DNS协议使用了端口上的UDP和TCP协议,由于TCP开销太大(一次UDP数据交互可以短到两个包,而TCP要7个包,三次握手),而UDP最大数据包长是512个字节。512个字节要存根服务器信息,也只能存13台。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 搭建Hadoop集群,一个月6T的数量需要几台服务器?

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情