hadoop_book/README.md

简介

本仓库用于记录学习Hadoop相关笔记，菜就多做笔记。

编译

执行下面编译命令：

# -T 是编译的线程数，可以按照具体操作系统增加或者减少
mvn -T 8 package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true
# or 忽略 本地方法编译
mvn -T 8 package -P\!dist,\!native -DskipTests -Dmaven.javadoc.skip=true

知识树

Common 模块

HDFS 模块

• HDFS概览
• NameNode相关
  • namenode全景
  • NameNode启动过程
  • FsIMage
  • NamenodeProtocols详解
  • leaseManager详解
  • FSDirectory详解
• 文件上传
• DataNode相关
  • dataNode启动过程
  • BPServiceActor详解

Yarn 模块

• Yarn概览

• ResourceManager详解

• 作业启动

• Yarn NodeManager相关

  • containerManager 详解

• Yarn 事件相关

  • Yarn状态机
  • Yarn事件处理机制

• JobHistory 相关

  • jobhistory 作业缓存

Zookeeper模块

• Zookeeper概览

OZone 模块

• OZone概览