25 lines
994 B
Markdown
25 lines
994 B
Markdown
|
|
|||
|
|
Flink中提供了一种Blob服务，用来进行包的管理。
|
|||
|
|
|
|||
|
|
Flink当中按照支持BLOB文件类型分为：
|
|||
|
|
|
|||
|
|
- jar包：被user classloader使用的jar包。
|
|||
|
|
- 高负荷RPC消息。
|
|||
|
|
- RPC消息长度超出了akka.framesize的大小。
|
|||
|
|
- 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor,给多个接受对象。
|
|||
|
|
- 失败导致重新部署过程中复用RPC消息
|
|||
|
|
- TaskManager的日志文件。
|
|||
|
|
- 为了在web ui上展示taskmanager的日志。
|
|||
|
|
|
|||
|
|
|
|||
|
|
按存储特性分为：
|
|||
|
|
- `PERMANENT_BLOB`:生命周期和job的生命周期一致，并且是可恢复的。会上传到BlobStore分布式文件系统中。
|
|||
|
|
- `TRANSIENT_BLOB`:生命周期由用户自行管理，并且是不可恢复的。不会上传到BlobStore分布式文件系统中。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
BLOB底层存储，支持多种实现`HDFS`,`S3`,`FTP`等，HA中使用BlobStore进行文件的恢复。
|
|||
|
|
|