hadoop_book/README.md

简介

本仓库用于记录学习Hadoop相关笔记，菜就多做笔记。

编译

执行下面编译命令：

# -T 是编译的线程数，可以按照具体操作系统增加或者减少
mvn -T 8 package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true
# or 忽略 本地方法编译
mvn -T 1C clean package -DskipTests -P\!sign -Pnative -P\!resource-bundle -PskipShade  -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dpmd.skip=true

知识树

Common 模块

• 认证模块详解
• 主备倒换模块详解

HDFS 模块

• HDFS概览

• NameNode相关

  • namenode全景
  • NameNode启动过程
  • FsIMage
  • NamenodeProtocols详解
  • leaseManager详解
  • FSDirectory详解
  • BPServiceActor详解

• 文件上传

• DataNode相关

  • dataNode启动过程
  • BPServiceActor详解

• Router相关

  • router启动详解

Yarn 模块

• Yarn概览

• [ResourceManager相关]

  • ResourceManager详解
  • Capacity调度器

• 作业启动

• Yarn NodeManager相关

  • containerManager 详解

• Yarn 事件相关

  • Yarn状态机
  • Yarn事件处理机制

• JobHistory 相关

  • jobhistory 作业缓存

• 工具相关

  • Distcp详解

Zookeeper模块

• Zookeeper概览

OZone 模块

• OZone概览