flink_book/README.md

72 lines
2.3 KiB
Markdown
Raw Normal View History

2022-12-31 12:09:16 +00:00
# 简介
2023-01-02 16:42:33 +00:00
<p align="center"><a title="flink book" target="_blank" href="https://github.com/zeekling/flink_book"><img src="https://img.shields.io/github/last-commit/zeekling/flink_book.svg?style=flat-square&color=FF9900"></a>
<a title="GitHub repo size in bytes" target="_blank" href="https://github.com/zeekling/flink_book"><img src="https://img.shields.io/github/repo-size/zeekling/flink_book.svg?style=flat-square"></a>
2023-01-02 15:57:48 +00:00
<a title="Hits" target="_blank" href="https://github.com/zeekling/hits"><img src="https://hits.b3log.org/zeekling/flink_book.svg"></a></p>
2022-12-31 12:09:16 +00:00
2023-01-01 09:10:37 +00:00
本项目用于学习Flink所做的笔记便于以后查看复习。此项目适合我这种虽然比较菜且爱学习的人学习。
2022-12-31 12:09:16 +00:00
2023-01-01 09:09:26 +00:00
# 内存调优
2022-12-31 12:09:16 +00:00
## 目录
2023-01-01 09:09:26 +00:00
- [内存等资源调优](./调优/Resource.md)
- [状态和CheckPoint 调优](./调优/CheckPoint.md)
2023-01-02 16:42:33 +00:00
- [如何分析及处理 Flink 反压](./调优/backpress.md)
2023-01-30 15:58:44 +00:00
- [Flink SQL 调优](./调优/flinkSql.md)
# 常见故障排除
## 目录
- [常见问题总结](./常见问题)
# Flink SQL
Flink SQL学习笔记提纲。持续更新。Hive SQL 离线Join VS Flink SQL 双流Join。
| 对比维度 | Hive SQL离线Join | Flink SQL双流Join |
| ---| ----|----|
| 数据源 | 有界(离线数据)| 无界(实时数据) |
| 计算次数 | 一次 | 持续计算 |
| 计算结果 | 有界(离线数据) | 无界(实时数据) |
| 计算驱动 | 单边驱动 | 双边驱动 |
## 目录
- [Flink SQL双流Join底层原理](./Flink_SQL/双流Join底层原理.md)
2023-04-02 16:17:05 +00:00
- [时间区间Join](./Flink_SQL/时间区间Join.md)
2022-12-31 12:09:16 +00:00
2023-04-15 11:54:07 +00:00
# 基础知识
## 目录
- [Flink CEP](./basic/CEP.md)
- [旁路输出](./basic/旁路输出.md)
2023-02-21 14:59:21 +00:00
# Flink 源码
源码编译可以使用下面命令
```sh
2023-04-22 15:40:34 +00:00
mvn install -DskipTests -Dfast -Dpmd.skip=true -Dcheckstyle.skip=true \
-Dmaven.javadoc.skip=true -Dmaven.compile.fork=true
2023-02-21 14:59:21 +00:00
```
缺的包可以在 https://conjars.org/repo/org/pentaho/pentaho-aggdesigner-core/5.1.5-jhyde/
https://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/7.2.2/ 下面找到。
## 目录
- [作业提交流程](./source_code/作业提交.md)
2023-04-22 15:40:34 +00:00
- [Flink组件间通信](./source_code/Flink组件通信.md)
- [per-job模式启动流程](./source_code/per-job启动.md)
- [yarn-application模式启动](./source_code/application启动.md)
- [yarn-session启动](./source_code/yarn-session启动.md)
2023-04-15 11:54:07 +00:00