夜雨聆风学习资料网

ARTICLE · 1372371

选举源码拆解,kill 掉 leader 的那八秒里发生了什么

选举源码拆解,kill 掉 leader 的那八秒里发生了什么

落笔相逢,我是军哥!

半夜两点,告警群里弹出一条消息,某条日志流的 leader 所在节点宕机,业务写入卡了几秒后自动恢复。第二天晨会,老板问了一个所有 DBA 都会被问的问题,那几秒里到底发生了什么,为什么是几秒不是毫秒也不是几分钟。

这个问题靠"教材说 OB 有自动选主"是糊弄不过去的。我把 src/logservice/palf/election 目录翻了一遍,答案比我预想的清楚得多。那几秒可以拆成四段,每一段在代码里都有对应的东西在跑。这篇就把这四段拆给你看。

八秒是怎么花掉的

以一次典型的 leader 宕机为例,时间轴大致这么走。

第一段,租约检测。leader 和 follower 之间有租约机制,leader 定期续约证明自己活着。节点宕机后没人续约,follower 要等租约过期才敢确定"leader 真的死了"。这段是大头,通常几秒。

第二段,选举。候选者发 prepare 请求拉票,收齐多数派赞成票后进入 accept 阶段正式登基。网络正常的话这段是毫秒到百毫秒级。

第三段,服务恢复。新 leader 要把日志状态追齐,确认位点推到位,这个日志流才能重新接写。palf 里有个专门的 reconfirm 阶段干这件事。

第四段,应用感知。OBProxy 和应用端要知道新 leader 在哪,路由表刷新,连接重定向。这段快则几百毫秒,慢则一两秒。

四段加起来,就是告警里那个"几秒"。经验数字八秒上下,前提是参数没被人乱动。下面进代码。

选举三件套,proposer、acceptor、impl

src/logservice/palf/election/algorithm 目录下三个核心文件,分工明确。

election_proposer.cpp 管拉票,我要当 leader,我发请求,我统计票。election_acceptor.cpp 管投票,别人来拉票,我判断投不投。election_impl.cpp 管状态机和消息分发,选举请求进来后由它分发给 proposer 和 acceptor 两个角色。

一个节点同时是 proposer 和 acceptor,这跟经典 Paxos 的角色设定一致。OceanBase 的选举协议基本就是 Paxos 选主那套,prepare 加 accept 两个阶段,加了租约和优先级这些工程化改良。

拉票侧,续约和主动发起

先看 leader 这边怎么保住位子。election_proposer.cpp:225 的 register_renew_lease_task_ 注册了一个周期任务:

  // 如果续约不够快很多case不能及时切主,所以当MAX_TST设置的比较大时,也让续约间隔设置的短一些  if (CLICK_FAIL(p_election_->timer_->schedule_task_repeat(renew_lease_task_handle_,                                                           std::min(int64_t(500_ms), CALCULATE_RENEW_LEASE_INTERVAL()),

中文注释直接躺在源码里,续约间隔取 500 毫秒和计算值的较小者。任务体里有一行关键判断(:259),leader_revoke_if_lease_expired_,leader 发现自己的租约过期了会主动退位。这个设计防的是脑裂,leader 跟多数派失联后自己让贤,不能赖在位子上继续接写。

还有个细节值得品味,:294 附近的注释写着"Leader 不应该靠定时任务主动做 Prepare,只能被动触发 Prepare"。在任 leader 不主动拉票,只续约。拉票是挑战者干的事。这个约束让稳态下的选举消息量降到接近零。

投票侧,时间窗和租约检查

再看 acceptor 怎么投票。election_acceptor.cpp:124 起是一个 250 毫秒跑一次的定时任务,里面有整篇最精彩的一段:

    bool lease_valid_state = !lease_.is_expired();    if (last_record_lease_valid_state != lease_valid_state) {      if (lease_valid_state) {        LOG_ELECT_LEADER(INFO, "witness new leader");      } else {        LOG_RENEW_LEASE(WARN, "lease expired");        p_election_->event_recorder_.report_acceptor_lease_expired_event(lease_);        lease_.reset();      }    }

acceptor 盯着自己见证的租约。租约从有效变无效,意味着"本副本可能与 Leader 失去了网络连接"(源码注释原文),这时才具备投票给别人前提条件。租约还有效的时候来了拉票请求,acceptor 不会立刻投,它把请求记进"时间窗口"(:158 起的 is_time_window_opened_ 逻辑),等窗口关闭时挑出优先级最高的那个候选者投票。

时间窗这个设计是选举不抖的关键。多个候选者同时拉票时,acceptor 不急着投给先到的,等一小段窗口期,把票投给窗口内条件最好的。对应八秒时间轴里的第二段,选举本身很快,快就快手投票是集中式收集而非一来一回的拉扯。

投完票 ballot number 推高(:178),旧 ballot 的请求一律拒掉(:59 的 check_ballot_valid),防止过期消息复活旧 leader。

状态机全景

把上面这些串成一张图:

资格审查,RPO=0 是怎么保住的

选举本身只解决"选谁",不解决"选出来的人数据全不全"。OceanBase 的答案分两层。

第一层在选举侧,候选者必须是 paxos 成员列表里的人,优先级模块(ElectionPriority,election_impl.cpp:197 的 set_priority)可以表达"我不希望它当 leader",比如异地副本、刚Rebuild完的副本。

第二层在选举之后,新 leader 上位先过 reconfirm 这一关。src/logservice/palf/log_reconfirm.cpp:427 附近,新 leader 要拿到 majority_match_lsn,跟多数派成员逐条对齐日志,把上一任 leader 已确认但自己还没有的日志追齐,确认位点推到多数派确认过的位置之后才开始接写。多数派确认过的日志在新 leader 上必然存在(多数派的交集性质,第 3 篇的账本),所以已提交的数据一条不丢,RPO=0 就是这么闭环的。

优先级管理日常运维里打交道的地方是 leader_coordinator,它负责把 leader 往该去的地方调度,比如 primary zone 设置后把 leader 切到指定机房。底层调的正是 PalfHandleImpl::change_leader_to(palf_handle_impl.cpp:517),最终走到 ElectionProposer::change_leader_to(election_proposer.cpp:144)。

几千个日志流同时选举的消息风暴

一台 observer 宕机,上面可能有几千条日志流的副本。它们同时检测到租约过期,同时发起选举,这就是消息风暴。

OceanBase 的缓解手段前面已经见过两个。时间窗机制让 acceptor 把拉票请求攒起来批量处理。续约周期 500 毫秒加随机化的触发时机,避免所有日志流齐刷刷在同一毫秒行动。再有就是消息本身的统计和限流,election_impl.cpp 里每个 handle_message 入口都有 msg_counter_ 统计收发量(:238),出问题时有据可查。

风暴期查选举问题,observer 日志里 grep "ELECT" 关键字,dump proposer info 和 dump acceptor info 每 3 秒各打一次(前面两段代码里都见过这个 3_s),角色、ballot、租约状态全在里面。

实验,kill leader 掐表

三副本测试集群,可复现。

第一组,裸切换。找到某日志流 leader 所在节点,kill -9 observer 进程,同时掐表。观察点三个,业务写入恢复时间、GV$OB_LOG_STAT 里角色变化、observer 日志里 "witness new leader" 和 "lease expired" 的时间差。预期写入中断几秒后恢复,日志里能看到租约过期、拉票、登基的完整序列。

第二组,优先级对照。给某个 follower 配低选举优先级,再 kill leader,观察新 leader 是不是绕开了它。再把优先级调回来做一次。两组对照,优先级生效的路径就验证了。

第三组,主动切主。不 kill,用 alter system switch replica 或 leader_coordinator 的方式主动切。预期切换时间明显短于 kill,因为走 change_leader_to 主动禅让,不用等租约过期。三组摆在一起,八秒时间轴的每一段都能被单独验证。

面试怎么答,生产怎么查

面试问"OB 的选举和 Raft 有什么区别",抓手有三个。租约机制,稳态靠续约维持权威,leader 失联自己退位防脑裂。时间窗投票,acceptor 攒票择优,选举快且不抖。两阶段职责分离,选举管选谁,reconfirm 管数据追齐,RPO=0 是两层合力的结果。

生产上怀疑选举异常,先看现象是选不出来还是选出来又掉。选不出来查成员列表和多数派是否健在。反复切换查网络抖动和租约参数。日志路径 grep ELECT observer.log,witness new leader、lease expired、vote 这几行按时间排开,八秒时间轴自己就浮现了。

留给你的三个思考题

1. 面试官问"为什么 leader 发现租约过期要主动退位,等别人把自己选下去不行吗",用脑裂场景回答。

2. 时间窗机制里,如果窗口设得太长会怎样,太短会怎样?这个参数在调什么权衡?

3. 一台机器宕机触发几千条日志流同时选举。除了文中提到的手段,你还能想到什么工程办法压制风暴?(提示,想想分批和退避)

干货已送达,点赞是签收,转发是好评,留言是售后!

关于我:郭一军 | 云贝教育创始人 | 25 年数据库老兵,长期为银行、证券等金融机构授课,专注信创数据库人才培养。

推荐阅读.从OBCE到源码

一、基础篇

一个 DBA 为什么要读 OceanBase 源码

gdb 跟踪第一条 SQL,读 OB 源码的正确姿势

三地五中心为什么是五个副本?容灾级别背后的多数派账本

连接管理,OBProxy 路由一切换,会话到底丢了什么

计划缓存命中率 99%,SQL 为什么还是突然变慢了

统计信息收了一遍,计划反而坏了:收集过程里藏着什么

二、架构篇

一万张表每张按天分区,这个集群是怎么慢慢死掉的

机房之间的光纤断了,OceanBase 为什么不会脑裂

单元化到底是什么?把一笔跨城转账拆开看就懂了

三台机器的 CPU 是 85%、30%、25%,负载均衡坏了吗

我把租户 A 的 CPU 打满了,租户 B 为什么还是抖了一下

IO调度源码合并和业务抢IO怎么办?翻出IO调度器的源码

三、内核篇

一条 SQL 在 OB 里的奇幻漂流,从网络收包到结果返回

MemTable 明明最新,OceanBase 为什么不先读它

一次空查询要读几张 SSTable?BloomFilter的拦截战

估行差五万倍是什么体验?我把优化器的计算器拆开了

统计信息靠不住的时候,优化器自己动手数了一遍数据

hint 写了 PARALLEL(8),OceanBase 为什么当没看见

写入路径三板斧,memtable、转储、合并源码全跟踪

palf 日志复制源码,多数派到底是怎么确认的

更多精彩,关注我公众号,一起学习、成长

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料