rocketMq - master/slave同步

系列

rocketMq概念介绍

rocketMq-namesrv介绍

rocketMq-Topic创建过程

rocketMq-producer介绍

rocketMq-consumer介绍

rocketMq - rebalance介绍

rocketMq - 并发消费过程

rocketMq - 串行消费过程

rocketMq-broker介绍

rocketMq-broker消息存储介绍

rocketMq - commitLog

rocketMq - index介绍

rocketMq-延迟消息介绍

rocketMq-事务消息介绍

rocketMq消息查询

rocketMq和kafka的架构区别

rocketMq - master/slave同步


本章主要需要讲清楚两个概念,第一个是slave主动和master同步,第二个是master主动和slave同步。而且我保证这是唯一一篇能够把这两个过程讲清楚的文章,至少在这篇文章之前我找了很多文章,没有一篇文章将整个过程合起来讲解清楚的,说明还是花了时间在里面的。

slave->master同步:主要是指slave会定期向master发起同步数据请求,master向slave返回数据。

master->slave同步:在设置为同步双写的时候,master每写入一条消息都会同步到slave当中。


master/slave同步报文格式

报文格式

说明

? ? 1、slave上报进度的时候只要一个位置就够了

? ? 2、master同步slave的时候需要传递物理位移,数据长度以及数据。


slave上报进度并同步数据

slave同步master

说明:共享自互联网

1、作为slave角色的broker启动的时候会读取本地mappedFile文件获取消息最大偏移量

2、作为master的角色在收到broker上报的消息偏移量开始基于这个位置循环向slave发送消息

3、作为slave角色的broker在收到master发来的消息开始写mappedFile并同时上报偏移量

4、补充说明一下步骤2的过程中master只参考slave第一次上报的位移作为起始偏移发送消息,在这之后master向slave发送数据是自循环的

--------------------------slave->master过程---------------------------

slave->master的master端代码

slave同步master核心类

说明:

1、HAConnection主要用于slave向master同步数据时候master端的处理逻辑。

2、ReadSocketService负责读取slave上报的数据并更新同步进度。

3、WriteSocketService负责源源不断的往slave发送数据。


slave->master的master同步进度

ReadSocketService核心代码

说明

? ? 1、ReadSocketService负责读取slave上报进度,并在第一次作为起始位移开始同步数据

? ? 2、非第一次读取slave上报的进度的时候,通知其他等待进程消息已经同步到slave当中,这里所谓的其他线程是指配置了master/slave同步写的进程,那些进程写完master后等待slave同步完数据并上报进度后才会被唤醒。

????3、重点来了,好好理解步骤2中这句话的意思。


slave->master的master同步数据

master同步数据给slave

说明:

? ? 1、master第一次以slave上报的偏移量作为起始偏移量,注意强调了第一次采用上报偏移量

? ? 2、master有了起始偏移量后就自行源源不断的同步数据给slave

? ? 3、组装报文并发送给slave节点


slave->master的slave端处理逻辑

slave上报master并解析返回结果

说明:参见HAService。

? ? 1、slave定期上报进度

? ? 2、处理master同步过来的数据并保存

? ? 3、如果同步数据成功后立即向master汇报最新的位移



slave实际保存数据

说明:

? ? 1、这部分的处理逻辑实际上是slave处理逻辑的进一步深入也就是保存消息数据的地方

? ? 2、保存完以后立即调用reportSlaveMaxOffsetPlus上报数据

? ? 3、reallocateByteBuffer函数内部的实现非常巧妙,解决了buffer不够的问题


--------------------------master->slave过程---------------------------

这个过程需要理解一个过程,一个比较绕的过程

1、master写完数据数据后生成master->slave同步请求并wakeup同步线程立即执行

2、master同步等待master->slave同步完成,同步过程是一个链路

3、master->slave同步请求发出去过,master处于等待状态,slave同步完master以后会回传进度,监控进程会不停的检查回传进度,检测回传的进度大于刚发送出去的master->slave的进度的时候认为同步写完成,然后就返回。


master_sync模式下的写

master写完数据同步slave

说明:参见CommitLog类的putMessage方法

? ? 1、appendMessage数据写到commitLog

? ? 2、handleHA内部判断如果是master_sync且为master节点才开始同步消息


生成master->slave同步请求并通知同步线程工作

说明:

????1、创建master->slave同步请求并投递,wakeupAll同步线程立即同步数据

????2、等待同步数据的进度,flushOK表示已经同步完成

? ? 3、这里要看清楚,putRequest是调用的this.groupTransferService.putRequest。

检查是否同步完成的代码逻辑

说明:

? ? 1、这个图说明了检查同步完成的整个过程,通过检查返回的位移大于发送消息的位移来保证同步完成。

? ? 2、req.wakeupCustomer其实就是用来告知一个开始投递的req数据同步已完成,对照上面两个图就可以看懂了,一定对比上面两张图。

? ? 3、那么问题来了,这个的push2SlaveMaxOffset是什么时候更新的呢?



master同步了slave的进度
通知同步进度

说明:

? ? 1、也就是说真正触发整个过程是有AcceptSocketService服务引起的,AcceptSocketService服务接收上报进度并通知notify机制通知原本在等待同步完成的线程。



交互过程

说明:

????1、master->slave同步的过程整体过程如上图,需要自己稍微消化一下。

最后编辑于
?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容