From afabc77ddbc17c588b29dd7ef6de8b1f9bd79b62 Mon Sep 17 00:00:00 2001 From: zeekling Date: Sun, 20 Aug 2023 22:55:19 +0800 Subject: [PATCH] =?UTF-8?q?=E6=B7=BB=E5=8A=A0BlobServer=E7=9B=B8=E5=85=B3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- basic/blobServer.md | 24 ++++++++++++++++++++++++ 1 file changed, 24 insertions(+) create mode 100644 basic/blobServer.md diff --git a/basic/blobServer.md b/basic/blobServer.md new file mode 100644 index 0000000..2a22ad9 --- /dev/null +++ b/basic/blobServer.md @@ -0,0 +1,24 @@ + +Flink中提供了一种Blob服务,用来进行包的管理。 + +Flink当中按照支持BLOB文件类型分为: + +- jar包:被user classloader使用的jar包。 +- 高负荷RPC消息。 + - RPC消息长度超出了akka.framesize的大小。 + - 在HA摸式中,利用底层分布式文件系统分发单个高负荷RPC消息,比如: TaskDeploymentDescriptor,给多个接受对象。 + - 失败导致重新部署过程中复用RPC消息 +- TaskManager的日志文件。 + - 为了在web ui上展示taskmanager的日志。 + + +按存储特性分为: +- `PERMANENT_BLOB`:生命周期和job的生命周期一致,并且是可恢复的。会上传到BlobStore分布式文件系统中。 +- `TRANSIENT_BLOB`:生命周期由用户自行管理,并且是不可恢复的。不会上传到BlobStore分布式文件系统中。 + + +![pic](https://pan.zeekling.cn/flink/basic/blobServer0001.png) + + +BLOB底层存储,支持多种实现`HDFS`,`S3`,`FTP`等,HA中使用BlobStore进行文件的恢复。 +