hdfs的rpc高是什么问题？

1网络延迟：在分布式环境中，RPC需要通过网络进行通信，网络延迟可能导致RPC请求的响应时间增加。

2服务器负载：当HDFS集群中的某些服务器过载或资源不足时，可能会导致RPC请求的处理速度降低，从而影响整体性能。

3大量小文件：如果HDFS上存在大量小文件，每个小文件都需要进行RPC请求，这将增加RPC请求的数量，从而增加了系统开销。

HDFS：分布式文件系统。用于存储文件，通过目录树来定位文件。由多台服务器联合起来实现其功能，集群中的服务器有各自的角色。适合一次写入，多次读出的场景，且不支持文件修改。适合做数据分析，不适合做网盘应用。

NameNode :

DataNode :

Client :

Secondary NameNode

HDFS中的文件在物理上是分块存储（Block），快的大小可以通过配置参数（dfsblcoksize）来规定，默认大小在Hadoop2x中是128M，老版本中是64M。

DataNode定期向NameNode 发送心跳报告 已告知自己的状态。

心跳内容：

心跳报告周期

NameNode判断DataNode宕机的基准：

连续 10次 接收不到dataNode的 心跳信息 ，和 2次的检查时间 。

NameNode判断DataNode宕机的基准： 连续 10次 接收不到dataNode的 心跳信息 ，和 2次的检查时间 。

检查时间 ：表示在NameNode在接收不到DataNode的心跳时，此时会向DataNode主动发送检查

HDFS在 启动 的时候，首先会进入的安全模式中，当达到规定的要求时，会退出安全模式。在安全模式中，不能执行任何 修改元数据信息的操作 。

HDFS的元数据的介绍（三个部分）：

HDSF元数据的存储位置：

手动退出或者进入安全模式

集群启动后：

将每个文件的数据进行分块存储，每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上。默认情况下每个数据有3个副本。

真实生产中需要手动配置机架策略。

每个节点上储存的数据百分比相差不大。

集群会有一个自动的负载均衡的操作，传输速度相对较慢，节点较少时是可以的。

如果集群较大，需要手动负载均衡。集群空闲下执行。

在 Hadoop 的 HDFS 文件系统中，副本放置策略是用来控制如何在集群的节点之间分布副本的策略。具体来说，在同一计价的情况下，不同服务器之间的距离可以是物理距离或者是网络距离。

物理距离指的是两台服务器之间的物理位置距离，通常是指两台服务器所在的数据中心之间的距离。这种情况下，副本会被放置在距离原始副本最近的服务器上，以减少网络延迟和带宽占用。

网络距离指的是两台服务器之间的网络距离，也就是它们之间的网络延迟。这种情况下，副本会被放置在网络延迟最小的服务器上，以保证数据的可用性和读取速度。

不同的副本放置策略可以根据集群的结构和应用的需求来选择使用。例如，如果集群中的服务器分布在多个数据中心，并且希望尽可能减少网络延迟，那么可以使用网络距离作为副本放置策略。如果集群中的服务器都在同一数据中心内，并且希望尽量减少带宽占用。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

广义的Hadoop，一般称为Hadoop生态系统，如下所示。

Hadoop生态系统中这些软件的作用：

HDFS 采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。

HDFS采用Java语言开发，因此任何支持JVM的机器都可以部署名称节点和数据节点。

在配置好Hadoop 集群之后，可以通过浏览器访问 http://[NameNodeIP]:9870，查询HDFS文件系统。通过该Web界面，可以查看当前文件系统中各个节点的分布信息。

HBase系统架构如下所示，包括客户端、Zookeeper服务器、Master主服务器、Region服务器。一般而言，HBase会采用HDFS作为底层数据存储。

在HBase服务器集群中，包含了一个Master和多个Region服务器，Master是HBase集群的“总管”，它必须知道Region服务器的状态。

HBase中可以启动多个Master，但是Zookeeper 可以帮助选举出一个Master 作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这样可以避免Master单点失效的问题。

Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。

Store是Region服务器的核心。每个Store对应了表中的一个列族的存储。每一个Store包含了一个MemStore缓存和若干个StoreFile文件。

HBase采用HLog来保证系统发生故障时，能够恢复到正确的状态。HLog是磁盘上面的记录文件，它记录着所有的更新操作。

HBase系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（Write Ahead Log），也就是说，用户更新数据必须首先被记入日志后，才能写入MemStore缓存。

此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

注意：Hadoop 安装完成之后，只包含HDFS和MapReduce，并不含HBase，因此需要在Hadoop 之上继续安装HBase。

hadoop基于底层大量物理服务器组成的集群对海量数据进行“分布式”处理。

Hadoop是用于处理大规模数据的强大工具，它利用了分布式计算的概念，通过将数据分割成小块并在多个物理服务器上进行处理，从而大大提高了数据处理的速度和效率。

Hadoop的底层是一个由大量物理服务器组成的集群，这个集群通过高速网络互连，并被Hadoop软件平台统一管理和调度。在这个集群上，Hadoop实现了两个核心组件：HDFS和MapReduce。

HDFS是Hadoop的分布式文件系统，负责数据的存储和管理。它将数据分割成多个小块，并将这些小块存储在集群的不同节点上。这样做的好处是，即使某个节点失效，由于数据被分散存储，其他节点上的数据仍然可以用于恢复和继续处理。

hadoop的分析介绍：

MapReduce是Hadoop的分布式计算框架，负责数据的处理和分析。它将数据和处理任务分发到集群中的多个节点上，并监控这些节点的执行情况。MapReduce将数据处理分为两个阶段：Map阶段和Reduce阶段。在Map阶段，数据被分解成小块，并执行指定的Map函数；在Reduce阶段，Map阶段的结果被汇总和执行指定的Reduce函数。

通过这种方式，Hadoop能够在底层大量物理服务器组成的集群上对海量数据进行高效、可靠的分布式处理。这种处理方式使得Hadoop在大数据处理方面具有很强的可扩展性、容错性和并行性，成为了很多企业和组织的重要数据处理工具。

-Hadoop

1 hdfs基本工作流程

1 hdfs初始化目录结构

hdfs namenode -format 只是初始化了namenode的工作目录

而datanode的工作目录是在datanode启动后自己初始化的

namenode在format初始化的时候会形成两个标识：

blockPoolId：

clusterId：

新的datanode加入时，会获取这两个标识作为自己工作目录中的标识

一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然

持有原来的id，就不会被namenode识别

2 hdfs的工作机制

hdfs集群分为两大角色:NameNode,DataNode (Secondary NameNode)

NameNode负责管理整个文件的元数据(命名空间信息，块信息) 相当于Master

DataNode负责管理用户的文件数据块 相当于Salve

文件会按照固定的大小（block=128M）切成若干块后分布式存储在若干个datanode节点上

每一个文件块有多个副本（默认是三个），存在不同的datanode上

DataNode会定期向NameNode汇报自身所保存的文件block信息，而namenode则会负责保持文件副本数量

hdfs的内部工作机制会对客户的保持透明，客户端请求方法hdfs都是通过向namenode申请来进行访问

SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并

3 hdfs写入数据流程

1客户端要向hdfs写入数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按照顺序将文件block逐个传给相应datanode，并由接收到block的datanode负责向其他datanode复制block副本

4 写入数据步骤详细解析

客户端向namenode通信，请求上传文件，namenode检查目标文件是否已经存在，父目录是否存在

namenode返回给客户端，告知是否可以上传

客户端请求第一个block该传输到那些datanode服务器上

namenode返回3个datanode服务器abc

客户端请求3台datanode的一台a上传数据（本质上是一个rpc调用，建立pipeline），A收到请求后会继续调用b，然后b调用c，将整个pipeline建立完成，逐级返回客户端。

客户端开始忘a上传第一个block（先从磁盘读取数据放入本地内存缓存），以packet为单位，a收到一个packet将会传给b，b传给c，a每传一个packet会放入一个应答队列等待应答

宕一个block传输完之后，客户端再次请求namenode上传第二个block的服务器