86 lines
3.0 KiB
Markdown
86 lines
3.0 KiB
Markdown
|
|
|||
|
|
# 说明
|
|||
|
|
DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。
|
|||
|
|
它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。
|
|||
|
|
它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。
|
|||
|
|
由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。
|
|||
|
|
|
|||
|
|
|
|||
|
|
# 源码详解
|
|||
|
|
|
|||
|
|
|
|||
|
|
## 作业启动
|
|||
|
|
作业的启动主要包含初始化和作业提交，在初始化阶段主要是list左右需要拷贝的文件信息，根据文件信息构造split信息。
|
|||
|
|
作业提交阶段就是根据初始化阶段构造的split信息，将作业提交到Yarn上面。
|
|||
|
|
|
|||
|
|
### 作业初始化
|
|||
|
|
初始化阶段主要是list左右需要拷贝的文件信息，根据文件信息构造split信息。
|
|||
|
|
|
|||
|
|
DistCp的入口函数是main函数，在main函数里面主要做了两件事：
|
|||
|
|
- 注册Cleanup。
|
|||
|
|
- 初始化和启动作业，核心处理函数为execute函数里面的createAndSubmitJob
|
|||
|
|
|
|||
|
|
创建Job对象,主要是指定Map的处理类，InputFormat 和outputFormat 信息:
|
|||
|
|
|
|||
|
|
```java
|
|||
|
|
Job job = Job.getInstance(getConf());
|
|||
|
|
job.setJobName(jobName);
|
|||
|
|
job.setInputFormatClass(DistCpUtils.getStrategy(getConf(), context));
|
|||
|
|
job.setJarByClass(CopyMapper.class);
|
|||
|
|
configureOutputFormat(job);
|
|||
|
|
|
|||
|
|
job.setMapperClass(CopyMapper.class);
|
|||
|
|
job.setOutputFormatClass(CopyOutputFormat.class);
|
|||
|
|
job.getConfiguration().set(JobContext.MAP_SPECULATIVE, "false");
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
根据需要拷贝的目录获取所有的文件信息。支持snapshot模式和普通模式。
|
|||
|
|
|
|||
|
|
#### snapshot 模式
|
|||
|
|
核心函数为SimpleCopyListing.doBuildListingWithSnapshotDiff。主要是通过DistCpSync.getAllDiffs获取Snapshot的差异文件。
|
|||
|
|
差异文件主要包含创建、修改、删除类型，将差别的的文件输出到fileList.seq文件里面。fileList.seq文件在staging目录下面的的`_distcp_随机的int值`。
|
|||
|
|
|
|||
|
|
|
|||
|
|
#### 普通模式
|
|||
|
|
|
|||
|
|
核心函数为SimpleCopyListing.doBuildListing。对于非snapshot模式，核心处理逻辑就是通过list将所有的文件获取出来。添加到fileList.seq里面。
|
|||
|
|
对于XAttrs等权限信息也会按照-p参数指定的来获取。
|
|||
|
|
|
|||
|
|
|
|||
|
|
### 作业提交
|
|||
|
|
|
|||
|
|
由于DistCp也是MapReduce作业，所以作业提交沿用了MapReduce作业提交的框架，对于Map和Reduce的处理类，
|
|||
|
|
以及InputFormat和outputFormat都是DistCp自己实现的。
|
|||
|
|
|
|||
|
|
其中比较常用的是DynamicInputFormat，DynamicInputFormat主要是通过主要是按照文件数量分配的。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
## 作业运行
|
|||
|
|
|
|||
|
|
### AM运行
|
|||
|
|
|
|||
|
|
在创建作业的时候定义了outputFormat，在CopyOutputFormat中定义了getOutputCommitter。
|
|||
|
|
|
|||
|
|
```java
|
|||
|
|
job.setOutputFormatClass(CopyOutputFormat.class);
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Distcp的AM结束时的核心处理类是CopyCommitter。结束的时候会调用commitJob函数，在commitJob函数里面。
|
|||
|
|
|
|||
|
|
#### deleteMissing函数
|
|||
|
|
从目标端删除多余的文件，需要配置-delete参数。
|
|||
|
|
|
|||
|
|
|
|||
|
|
#### preserveFileAttributesForDirectories函数
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
### Map运行
|
|||
|
|
|
|||
|
|
|
|||
|
|
### Reduce运行
|
|||
|
|
|
|||
|
|
|
|||
|
|
|