本文重点介绍 TaskManager 总体架构。TaskManager 整体是一个 RPC 服务端,提供的接口,例如请求 slot、提交任务、取...
1.JobManager 内存调优 1.1 JobManager 内存模型的介绍 JobManager 是 Java 进程,从 JVM 角度来看...
本文首先进行 Flink Kafka Consumer 原理分析,结合 SourceFunction 和 Kafka Client API 详解...
本文介绍了 Watermark 的应用场景,分析了常见的 Watermark 问题及其定位手段。 1 Watermark 应用场景 背景:在现实...
本文阐述 Flink 的事件时间和 Watermark 机制,剖析 Watermark 产生和传递的流程。 1 Event time 和 Wat...
问题1:阐述 Flink 提供的三种数据处理语义,解释 Checkpoint 机制如何保证 Flink 程序结果的 Exactly-Once 语...
阐述 Flink 提供的容错机制,解释分布式快照 Chandy Lamport 算法逻辑,剖析 Flink Checkpoint 具体实现流...
本文从监控、参数调整、资源规划等方面,优化 Flink 大状态作业的常见问题。 背景:Flink 有状态作业能可靠地运行,必须满足以下两个条件 ...
本文详解 Checkpoint 机制,分享 Checkpoint 问题排查的手段,包括失败、延期等问题。 1.Checkpoint 机制 1.1...