项目上使用kafka作为消息传递中间件,每条行程消息都包含partition_key,所以能保证相同的行程id能保存在同一个kafka分区内。
kafka topic 有9个分区,但是如果我们使用了repartition操作,本来目的是解决数据在kafka上的热点问题,提升程序处理速度,
但是问题是如果使用repartition有可能导致相同的行程id分配到不同的分区,那么相同行程id的消息处理顺序会被改变。
rdd repartition 导致消息处理顺序改变
最后编辑于 :
?著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...