商业源码服务器教程 2024-01-11 8:07:01

搭建Hadoop集群，一个月6T的数量需要几台服务器

最好是两个做成HA

关于硬盘:

6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍)

如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了

一般是这样计算硬盘大小

(原始数据+中间数据+结果数据)副本数量=总硬盘大小

关于内存:

namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block-->M个

一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存

namenode总内存(兆M)=M1000MB/100万

datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置

关于多少台机器

根据Task任务的数量和你的性能指标来做决定

一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多

实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器

hadoop集群的性能和节点个数近似成正向关系

本文通过在vmware workstation上建立三台虚拟机来搭建hadoop集群环境，其中一台作为namenode，两台作为datanode。一、安装vmware workstation（1000）（一路下一步即可）二、创建3个虚拟机每个虚拟机安装Ubuntu 桌面版

　　操作系统

　　我们选择Linux作为操作系统。Linux有许多不同的发行版，包括Ubuntu、RedHat和CentOS等，无论选择哪一个都可以。基于支持和许可费用的考虑，我们最终选择了CentOS 57。最好是定制一个CentOS的映像，把那些需要的软件都预装进去，这样所有的机器可以包含相同的软件和工具，这是一个很好的做法。

　　根据Cloudera的建议，OS层应该采用以下设置：

文件系统

　　Ext3文件系统

　　取消atime

　　不要使用逻辑卷管理

利用alternatives来管理链接

使用配置管理系统(Yum、Permission、sudoers等)

减少内核交换

撤销一般用户访问这些云计算机的权限

不要使用虚拟化

至少需要以下Linux命令：

　　/etc/alternatives

　　ln、chmod、chown、chgrp、mount、umount、kill、rm、yum、mkdir

　　硬件要求

　　由于Hadoop集群中只有两种节点(Namenode/Jobtracker和Datanode/Tasktracker)，因此集群内的硬件配置不要超过两种或三种。

图2 - Hadoop集群服务器角色

　　硬件建议：

Namenode/Jobtracker：1Gb/s以太网口x2、16GB内存、4个CPU、100GB磁盘

Datanode：1Gb/s以太网口x2、8GB内存、4个CPU、多个磁盘，总容量500GB以上

　　实际的硬件配置可以与我们建议的配置不同，这取决于你们需要存储和处理的数据量。但我们强烈建议不要在集群中混用不同的硬件配置，以免那些较弱的机器成为系统的瓶颈。

　　Hadoop的机架感知

　　Hadoop有一个“机架感知”特性。管理员可以手工定义每个slave数据节点的机架号。为什么要做这么麻烦的事情有两个原因：防止数据丢失和提高网络性能。

图3 - Hadoop集群的机架感知

　　为了防止数据丢失，Hadoop会将每个数据块复制到多个机器上。想象一下，如果某个数据块的所有拷贝都在同一个机架的不同机器上，而这个机架刚好发生故障了(交换机坏了，或者电源掉了)，这得有多悲剧为了防止出现这种情况，必须要有一个人来记住所有数据节点在网络中的位置，并且用这些知识来确定——把数据的所有拷贝们放在哪些节点上才是最明智的。这个“人”就是Name Node。

　　另外还有一个假设，即相比不同机架间的机器，同一个机架的机器之间有着更大的带宽和更小的延时。这是因为，机架交换机的上行带宽一般都小于下行带宽。而且，机架内的延时一般也小于跨机架的延时(但也不绝对)。

　　机架感知的缺点则是，我们需要手工为每个数据节点设置机架号，还要不断地更新这些信息，保证它们是正确的。要是机架交换机们能够自动向Namenode提供本机架的数据节点列表，那就太棒了。

　　Hadoop软件的安装和配置

　　Hadoop集群有多种构建方式：

手工下载tar文件并复制到集群中

利用Yum仓库

利用Puppet等自动化部署工具

　　我们不建议采用手工方式，那只适合很小的集群(4节点以下)，而且会带来很多维护和排障上的问题，因为所有的变更都需要用scp或ssh的方式手工应用到所有的节点上去。

　　从以下方面来看，利用Puppet等部署工具是最佳的选择：

安装

配置

维护

扩展性

监控

排障

　　Puppet是Unix/Linux下的一个自动化管理引擎，它能基于一个集中式的配置执行增加用户、安装软件包、更新服务器配置等管理任务。我们将主要讲解如何利用Yum和Puppet来安装Hadoop。

　　利用Yum/Puppet搭建Hadoop集群

　　要利用Puppet搭建Hadoop集群，首先要符合以下前置条件：

包含所有必需Hadoop软件的中央仓库

用于Hadoop部署的Puppet装载单(manifest)

用于Hadoop配置管理的Puppet装载单

用于集群维护的框架(主要是sh或ksh脚本)，以支持集群的start/stop/restart

利用puppet构建整个服务器(包括操作系统和其它软件)

　　注：如果要用Yum来安装Hadoop集群，则所有服务器应该预先构建完成，包括操作系统和其它软件都应安装完毕，yum仓库也应在所有节点上设置完毕。

　　构建Datanode/Tasktracker

　　如果用Yum安装Datanode/Tasktracker，需在所有数据节点上执行以下命令：

　　yum install hadoop-020-datanode –y

　　yum install hadoop-020-tasktracker –y

　　换成Puppet的话，则是：

　　class setup_datanode {

　　if ($is_datanode == true) {

　　make_dfs_data_dir { $hadoop_disks: }

　　make_mapred_local_dir { $hadoop_disks: }

　　fix_hadoop_parent_dir_perm { $hadoop_disks: }

　　}

　　# fix hadoop parent dir permissions

　　define fix_hadoop_parent_dir_perm() {

　　…

　　}

　　# make dfs data dir

　　define make_dfs_data_dir() {

　　…

　　}

　　# make mapred local and system dir

　　define make_mapred_local_dir() {

　　…

　　}

　　} # setup_datanode

　　构建Namenode(及辅助Namenode)

　　如果用Yum安装Namenode，需在所有数据节点上执行以下命令：

　　yum install hadoop-020-namenode –y

　　yum install hadoop-020-secondarynamenode –y

　　换成Puppet的话，则是：

　　class setup_namenode {

　　if ($is_namenode == true or $is_standby_namenode == true) {

　　}

　　exec {"namenode-dfs-perm":

　　}

　　exec { "make ${nfs_namenode_dir}/dfs/name":

　　}

　　exec { "chgrp ${nfs_namenode_dir}/dfs/name":

　　}

　　if ($standby_namenode_host != "") {

　　}

　　exec { "own $nfs_standby_namenode_dir":

　　}

　　# /standby_namenode_hadoop

　　if ($standby_namenode_host != "") {

　　}

　　exec { "own $standby_namenode_hadoop_dir":

　　}

　　class setup_secondary_namenode {

　　if ($is_secondarynamenode == true) {

　　}

　　exec {"namenode-dfs-perm":

　　}

　　构建JobTracker

　　如果用Yum安装Jobtracker，需在所有数据节点上执行以下命令：

　　yum install hadoop-020-jobtracker –y

　　换成Puppet的话，则是使用与构建Namenode相同的装载单，唯一的区别在于，在Jobtracker机器上，会启动Jobtracker——即将该机器上的is_jobtracker设置为true。

如果您的电脑只有8GB内存，可能无法同时配置高可用的Hadoop集群和Flume。

对于配置高可用的Hadoop集群，8GB内存的电脑可能会有一些限制。Hadoop集群通常需要较大的内存和计算资源来处理大规模的数据和复杂的计算任务。8GB内存可能无法满足高可用集群的要求，因为高可用配置通常需要至少3个节点，每个节点都需要足够的内存来运行Hadoop的各个组件。

至于Flume的配置，Flume是一个可靠、可扩展的分布式日志收集系统，用于将数据从源头传输到目的地。Flume的配置要求与Hadoop集群的高可用配置有些不同，但同样需要足够的内存和计算资源来运行。如果您的电脑只有8GB内存，可能无法同时配置高可用的Hadoop集群和Flume。

建议您在配置Hadoop集群和Flume时，根据实际情况评估您的计算资源和内存需求，并确保您的硬件配置能够满足这些需求。如果您的电脑资源有限，可以考虑使用云服务或者租用更适合大规模数据处理的服务器来搭建Hadoop集群和运行Flume。

hadoop20已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-241又增加了YARN HA

注意：apache提供的hadoop-241的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，

所以如果在64位的操作上安装hadoop-241就需要重新在64操作系统上重新编译

（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）

前期准备就不详细说了，课堂上都介绍了

1修改Linux主机名

2修改IP

3修改主机名和IP的映射关系

######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）

/etc/hosts里面要配置的是内网IP地址和主机名的映射关系

4关闭防火墙

5ssh免登陆

6安装JDK，配置环境变量等

集群规划：

主机名 IP 安装的软件运行的进程

HA181 1921681181 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)

HA182 1921681182 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)

HA183 1921681183 jdk、hadoop ResourceManager

HA184 1921681184 jdk、hadoop ResourceManager

HA185 1921681185 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

HA186 1921681186 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

HA187 1921681187 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

说明：

1在hadoop20中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop20官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态

2hadoop-220中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-241解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

安装步骤：

1安装配置zooekeeper集群（在HA185上）

11解压

tar -zxvf zookeeper-345targz -C /app/

12修改配置

cd /app/zookeeper-345/conf/

cp zoo_samplecfg zoocfg

vim zoocfg

修改：dataDir=/app/zookeeper-345/tmp

在最后添加：

server1=HA185:2888:3888

server2=HA186:2888:3888

server3=HA187:2888:3888

保存退出

然后创建一个tmp文件夹

mkdir /app/zookeeper-345/tmp

再创建一个空文件

touch /app/zookeeper-345/tmp/myid

最后向该文件写入ID

echo 1 > /app/zookeeper-345/tmp/myid

13将配置好的zookeeper拷贝到其他节点(首先分别在HA186、HA187根目录下创建一个weekend目录：mkdir /weekend)

scp -r /app/zookeeper-345/ HA186:/app/

scp -r /app/zookeeper-345/ HA187:/app/

注意：修改HA186、HA187对应/weekend/zookeeper-345/tmp/myid内容

HA186：

echo 2 > /app/zookeeper-345/tmp/myid

HA187：

echo 3 > /app/zookeeper-345/tmp/myid

2安装配置hadoop集群（在HA181上操作）

21解压

tar -zxvf hadoop-241targz -C /weekend/

22配置HDFS（hadoop20所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

#将hadoop添加到环境变量中

vim /etc/profile

export JAVA_HOME=/app/jdk170_79

export HADOOP_HOME=/app/hadoop-241

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop20的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /home/hadoop/app/hadoop-241/etc/hadoop

221修改hadoop-envsh

export JAVA_HOME=/app/jdk170_79

222修改core-sitexml

<name>fsdefaultFS</name>

</property>

<name>hadooptmpdir</name>

<value>/app/hadoop-241/tmp</value>

</property>

<name>hazookeeperquorum</name>

</property>

</configuration>

223修改hdfs-sitexml

<name>dfsnameservices</name>

</property>

<name>dfshanamenodesns1</name>

</property>

<name>dfsnamenoderpc-addressns1nn1</name>

</property>

<name>dfsnamenodehttp-addressns1nn1</name>

</property>

<name>dfsnamenoderpc-addressns1nn2</name>

</property>

<name>dfsnamenodehttp-addressns1nn2</name>

</property>

<name>dfsnamenodesharededitsdir</name>

<value>qjournal://HA185:8485;HA186:8485;HA187:8485/ns1</value>

</property>

<name>dfsjournalnodeeditsdir</name>

<value>/app/hadoop-241/journaldata</value>

</property>

<name>dfshaautomatic-failoverenabled</name>

</property>

<name>dfsclientfailoverproxyproviderns1</name>

<value>orgapachehadoophdfsservernamenodehaConfiguredFailoverProxyProvider</value>

</property>

<name>dfshafencingmethods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<name>dfshafencingsshprivate-key-files</name>

<value>/home/hadoop/ssh/id_rsa</value>

</property>

<name>dfshafencingsshconnect-timeout</name>

</property>

</configuration>

224修改mapred-sitexml

<name>mapreduceframeworkname</name>

</property>

</configuration>

225修改yarn-sitexml

<name>yarnresourcemanagerhaenabled</name>

</property>

<name>yarnresourcemanagercluster-id</name>

</property>

<name>yarnresourcemanagerharm-ids</name>

</property>

<name>yarnresourcemanagerhostnamerm1</name>

</property>

<name>yarnresourcemanagerhostnamerm2</name>

</property>

<name>yarnresourcemanagerzk-address</name>

</property>

<name>yarnnodemanageraux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

226修改slaves(slaves是指定子节点的位置，因为要在HA181上启动HDFS、在HA183启动yarn，

所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)

HA185

HA186

HA187

227配置免密码登陆

#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密码登陆

#在HA181上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点，包括自己

ssh-copy-id HA181

ssh-copy-id HA182

ssh-copy-id HA183

ssh-copy-id HA184

ssh-copy-id HA185

ssh-copy-id HA186

ssh-copy-id HA187

#配置HA183到HA184、HA185、HA186、HA187的免密码登陆

#在HA183上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点

ssh-copy-id HA184

ssh-copy-id HA185

ssh-copy-id HA186

ssh-copy-id HA187

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置HA182到HA181的免登陆

在HA182上生产一对钥匙

ssh-keygen -t rsa

ssh-copy-id -i HA181

24将配置好的hadoop拷贝到其他节点

scp -r /app/hadoop-251/ HA182:/app/

scp -r /app/hadoop-251/ HA183:/app/

scp -r /app/hadoop-251/ HA184:/app/

scp -r /app/hadoop-251/ HA185:/app/

scp -r /app/hadoop-251/ HA186:/app/

scp -r /app/hadoop-251/ HA187:/app/

###注意：严格按照下面的步骤

25启动zookeeper集群（分别在HA185、HA186、tcast07上启动zk）

cd /app/zookeeper-345/bin/

/zkServersh start

#查看状态：一个leader，两个follower

/zkServersh status

26启动journalnode（分别在在HA185、HA186、HA187上执行）

cd /app/hadoop-251

hadoop-daemonsh start journalnode

#运行jps命令检验，HA185、HA186、HA187上多了JournalNode进程

27格式化ZKFC(在HA181上执行即可) hdfs zkfc -formatZK

28格式化HDFS

#在HA181上执行命令:

hdfs namenode -format

#格式化后会在根据core-sitexml中的hadooptmpdir配置生成个文件，这里我配置的是/app/hadoop-241/tmp，然后将/weekend/hadoop-241/tmp拷贝到HA182的/weekend/hadoop-241/下。

scp -r tmp/ HA182:/app/hadoop-251/

##也可以这样，建议hdfs namenode -bootstrapStandby

29启动HDFS(在HA181上执行)

sbin/start-dfssh

210启动YARN(#####注意#####：是在HA183上执行start-yarnsh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

sbin/start-yarnsh

到此，hadoop-241配置完毕，可以统计浏览器访问:

http://1921681181:50070

NameNode 'HA181:9000' (active)

http://1921681182:50070

NameNode 'HA182:9000' (standby)

验证HDFS HA

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

hadoop fs -ls /

然后再kill掉active的NameNode

kill -9 <pid of NN>

通过浏览器访问：http://1921681182:50070

NameNode 'HA182:9000' (active)

这个时候HA182上的NameNode变成了active

在执行命令：

hadoop fs -ls /

-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemonsh start namenode

通过浏览器访问：http://1921681181:50070

NameNode 'HA181:9000' (standby)

验证YARN：

运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-241jar wordcount /profile /out

OK，大功告成！！！

CID-74d21742-3e4b-4df6-a99c-d52f703b49c0

测试集群工作状态的一些指令：

bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息

bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

sbin/hadoop-daemonsh start namenode 单独启动一个namenode进程

/hadoop-daemonsh start zkfc 单独启动一个zkfc进程

用不同的账号，当然可以。

我用相同的账号，搭建了两套环境，只要安装hadoop的目录不再同一个目录下就可以。然后就是注意你的/etc/profile尽量不要配置HADOOP_HOME的值，只配置JDK就可以了，不然可能会用冲突，不知道该去找哪个hadoop home 了。

理论上可以的，vmware虚拟机和云服务器其实和传统物理服务器用起来没差别。但如果你说的云服务器是公有云，是vmware在你的局域网，不推荐组合起来搭建hadoop，因为互联网的网络延迟比本地高，集群会不稳，非要做的话，vmware虚拟机需要用dnat映射地址到公网

1 拉取镜像

sudo docker pull indexalaudacn/kiwenlau/hadoop-master:010 sudo docker pull indexalaudacn/kiwenlau/hadoop-slave:010 sudo docker pull indexalaudacn/kiwenlau/hadoop-base:010 sudo docker pull indexalaudacn/kiwenlau/serf-dnsmasq:010

3~5分钟OK~也可以直接从我的DokcerHub仓库中拉取镜像，这样就可以跳过第2步：

sudo docker pull kiwenlau/hadoop-master:010 sudo docker pull kiwenlau/hadoop-slave:010 sudo docker pull kiwenlau/hadoop-base:010 sudo docker pull kiwenlau/serf-dnsmasq:010

查看下载的镜像：

sudo docker images

运行结果：

其中hadoop-base镜像是基于serf-dnsmasq镜像的，hadoop-slave镜像和hadoop-master镜像都是基于hadoop-base镜像。所以其实4个镜像一共也就7774MB。

2 修改镜像tag

sudo docker tag d63869855c03 kiwenlau/hadoop-slave:010 sudo docker tag 7c9d32ede450 kiwenlau/hadoop-master:010 sudo docker tag 5571bd5de58e kiwenlau/hadoop-base:010 sudo docker tag 09ed89c24ee8 kiwenlau/serf-dnsmasq:010

查看修改tag后镜像：

sudo docker images

运行结果：

之所以要修改镜像，是因为我默认是将镜像上传到Dockerhub, 因此Dokerfile以及shell脚本中得镜像名称都是没有alauada前缀的，sorry for this不过改tag还是很快滴。若直接下载我在DockerHub中的镜像，自然就不需要修改tag不过Alauda镜像下载速度很快的哈~

3下载源代码

git clone https://githubcom/kiwenlau/hadoop-cluster-docker

为了防止GitHub被XX，我把代码导入到了开源中国的Git仓库：

git clone http://gitoschinanet/kiwenlau/hadoop-cluster-docker

4 运行容器

cd hadoop-cluster-docker /start-containersh

运行结果：

start master container start slave1 container start slave2 container root@master:~#

一共开启了3个容器，1个master, 2个slave。开启容器后就进入了master容器root用户的根目录(/root)。

查看master的root用户家目录的文件：

运行结果：

hdfs run-wordcountsh serf_log start-hadoopsh start-ssh-serfsh

start-hadoopsh是开启hadoop的shell脚本，run-wordcountsh是运行wordcount的shell脚本，可以测试镜像是否正常工作。

5测试容器是否正常启动(此时已进入master容器)

查看hadoop集群成员：

serf members

运行结果：

masterkiwenlaucom 17217065:7946 alive slave1kiwenlaucom 17217066:7946 alive slave2kiwenlaucom 17217067:7946 alive

若结果缺少节点，可以稍等片刻，再执行“serf members”命令。因为serf agent需要时间发现所有节点。

测试ssh：

ssh slave2kiwenlaucom

运行结果：

Warning: Permanently added 'slave2kiwenlaucom,17217067' (ECDSA) to the list of known hosts Welcome to Ubuntu 1504 (GNU/Linux 3130-53-generic x86_64) Documentation: https://helpubuntucom/ The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc//copyright Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law root@slave2:~#

退出slave2：

exit

运行结果：

logout Connection to slave2kiwenlaucom closed

若ssh失败，请稍等片刻再测试，因为dnsmasq的dns服务器启动需要时间。测试成功后，就可以开启Hadoop集群了!其实你也可以不进行测试，开启容器后耐心等待一分钟即可!

6 开启Hadoop

/start-hadoopsh

上一步ssh到slave2之后，请记得回到master啊!运行结果太多，忽略，Hadoop的启动速度取决于机器性能

7 运行wordcount

/run-wordcountsh

运行结果：

input file1txt: Hello Hadoop input file2txt: Hello Docker wordcount output: Docker 1 Hadoop 1 Hello 2

wordcount的执行速度取决于机器性能

集群节点镜像机架数据

DABAN RP主题是一个优秀的主题，极致后台体验，无插件，集成会员系统
网站模板库 » 搭建Hadoop集群，一个月6T的数量需要几台服务器

商业源码钻石

分享到：

搭建Hadoop集群，一个月6T的数量需要几台服务器

商业源码钻石

0条评论

发表评论取消回复

商业源码 钻石

相关推荐

0条评论

发表评论 取消回复

提供最优质的资源集合

商业源码钻石

发表评论取消回复