本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
发简信
IP属地：重庆
-
-
Java bug搬运工，小数据攻城狮^O^
-
您好，请问下，根据您的经验，flink任务监控要怎么做？？？
从Flink SQL "doesn't support consuming update and delete changes" 错误谈起
前言 相信我们在初学Flink SQL时，多少遇到过像这样的错误信息： 为什么有些下游算子不能接受上游算子发来的UPDATE和DELETE消息呢？本文以1.13版本为准来简单...
-
博主你好，有2个问题想探讨下
第一，PartitionCommitTrigger的逻辑会在负责真正提交分区的StreamingFileCommitter组件中用到（注意StreamingFileCommitter的并行度固定为1，之前有人问过这件事），这里的并行度固定位1 ，我觉得是因为hdfs的文件写，只支持单独写，不支持并发写。
第二，最后你定义的PartitionCommitPolicy，是将分区中的小文件都合并成一个文件，如果这个文件很大，会不会在查询使用上有问题？应该可以优化成按块的大小合并？
个人愚见，希望能相互探讨学习??????Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
本文已授权「Flink中文社区」微信公众号发布并标注原创。 Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQ...
