flink_book/basic/blobServer.md
2023-08-20 14:56:32 +00:00

994 B
Raw Blame History

Flink中提供了一种Blob服务用来进行包的管理。

Flink当中按照支持BLOB文件类型分为

  • jar包被user classloader使用的jar包。
  • 高负荷RPC消息。
    • RPC消息长度超出了akka.framesize的大小。
    • 在HA摸式中利用底层分布式文件系统分发单个高负荷RPC消息比如: TaskDeploymentDescriptor,给多个接受对象。
    • 失败导致重新部署过程中复用RPC消息
  • TaskManager的日志文件。
    • 为了在web ui上展示taskmanager的日志。

按存储特性分为:

  • PERMANENT_BLOB:生命周期和job的生命周期一致并且是可恢复的。会上传到BlobStore分布式文件系统中。
  • TRANSIENT_BLOB:生命周期由用户自行管理并且是不可恢复的。不会上传到BlobStore分布式文件系统中。

pic

BLOB底层存储支持多种实现HDFS,S3,FTPHA中使用BlobStore进行文件的恢复。