Hadoop 学习笔记。 https://www.zeekling.cn/tags/hadoop
Go to file Use this template
2023-10-14 23:52:14 +08:00
.gitignore Initial commit 2023-10-11 15:04:44 +00:00
hadoop_300_question.md 增加hadoop 简介 2023-10-14 23:52:14 +08:00
LICENSE Initial commit 2023-10-11 15:04:44 +00:00
README.md 增加hadoop 简介 2023-10-14 23:52:14 +08:00

简介

Namenode 和 Datanode

HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 集群中的Datanode一般是一个节点一个负责管理它所在节点上的存储。 HDFS暴露了文件系统的名字空间用户能够以文件的形式在上面存储数据。 从内部看一个文件其实被分成一个或多个数据块这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

pic

Namenode是所有HDFS元数据的仲裁者和管理者这样用户数据永远不会流过Namenode。

Namenode全权管理数据块的复制它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。 接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

pic

HDFS中的文件都是一次性写入的并且严格要求在任何时候只能有一个写入者。