Flink 双流Join基本原理 #11
4
Flink_SQL/README.md
Normal file
4
Flink_SQL/README.md
Normal file
@ -0,0 +1,4 @@
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
BIN
Flink_SQL/flinksql_0001.png
Normal file
BIN
Flink_SQL/flinksql_0001.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 142 KiB |
17
Flink_SQL/双流Join底层原理.md
Normal file
17
Flink_SQL/双流Join底层原理.md
Normal file
@ -0,0 +1,17 @@
|
|||||||
|
|
||||||
|
<a title="Hits" target="_blank" href="https://github.com/zeekling/hits"><img src="https://hits.b3log.org/zeekling/flink_book.svg"></a></p>
|
||||||
|
|
||||||
|
## 简介
|
||||||
|
|
||||||
|
![pic](./flinksql_0001.png)
|
||||||
|
|
||||||
|
- LState:存储左边数据流中的数据。
|
||||||
|
- RState:存储右边数据流中的数据。
|
||||||
|
- 当左边数据流数据到达的时候会保存到LState,并且到RState中进行Join。将Join生成的结果数据发送到下游。
|
||||||
|
- 右边数据流中数据到达的时候,会保存到RState当中,并且到LState中进行Join,然后将Join之嚄胡的结果数据发送到下游。
|
||||||
|
|
||||||
|
|
||||||
|
为了保障左右两边流中需要Join的数据出现在相同节点,Flink SQL会利用Join中的on的关联条件进行分区,把相同关联条件
|
||||||
|
的数据分发到同一个分区里面。
|
||||||
|
|
||||||
|
|
21
README.md
21
README.md
@ -9,6 +9,8 @@
|
|||||||
|
|
||||||
# 内存调优
|
# 内存调优
|
||||||
|
|
||||||
|
## 目录
|
||||||
|
|
||||||
- [内存等资源调优](./调优/Resource.md)
|
- [内存等资源调优](./调优/Resource.md)
|
||||||
- [状态和CheckPoint 调优](./调优/CheckPoint.md)
|
- [状态和CheckPoint 调优](./调优/CheckPoint.md)
|
||||||
- [如何分析及处理 Flink 反压](./调优/backpress.md)
|
- [如何分析及处理 Flink 反压](./调优/backpress.md)
|
||||||
@ -16,5 +18,24 @@
|
|||||||
|
|
||||||
# 常见故障排除
|
# 常见故障排除
|
||||||
|
|
||||||
|
## 目录
|
||||||
|
|
||||||
|
- [常见问题总结](./常见问题)
|
||||||
|
|
||||||
|
|
||||||
|
# Flink SQL
|
||||||
|
|
||||||
|
Flink SQL学习笔记提纲。持续更新。Hive SQL 离线Join VS Flink SQL 双流Join。
|
||||||
|
|
||||||
|
| 对比维度 | Hive SQL离线Join | Flink SQL双流Join |
|
||||||
|
| ---| ----|----|
|
||||||
|
| 数据源 | 有界(离线数据)| 无界(实时数据) |
|
||||||
|
| 计算次数 | 一次 | 持续计算 |
|
||||||
|
| 计算结果 | 有界(离线数据) | 无界(实时数据) |
|
||||||
|
| 计算驱动 | 单边驱动 | 双边驱动 |
|
||||||
|
|
||||||
|
## 目录
|
||||||
|
|
||||||
|
- [Flink SQL双流Join底层原理](./Flink_SQL/双流Join底层原理.md)
|
||||||
|
|
||||||
|
|
||||||
|
Loading…
Reference in New Issue
Block a user