注:zookeeper是一个分布式协调服务。所谓分布式协调主要是来解决分布式系统中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止出现脏读。
一、zookeeper集群中的读写
在 zookeeper 中,客户端会随机连接到 zookeeper 集群中
的一个节点,如果是读请求,就直接从当前节点中读取数
据,如果是写请求,那么请求会被转发给 leader 提交事务,
然后 leader 会广播事务,只要有超过半数节点写入成功,
那么写请求就会被提交(类 2PC 事务)。
二、Leader选举
serverid : 在配置server集群的时候,给定服务器的标识id(myid)
zxid : 服务器在运行时产生的数据ID, zxid的值越大,表示数据越新
Epoch: 选举的轮数
server的状态:Looking、 Following、Observering、Leading
1.选举过程概述
(1) 所有在集群中的server都会推荐自己为leader,然后把(myid、zxid、epoch)作为广播信息,广播给集群中的其他server, 然后等待其他服务器返回
myid:server的ID
ZXID:服务的事务ID,越大代表数据越新
(2) 接受来自各个服务器的投票
判断该投票的有效性,如检查是否是本轮投票、是否来自LOOKING状态的服务器等。
判断逻辑时钟(Epoch) ,如果Epoch大于自己当前的Epoch,说明自己保存的Epoch是过期。更新Epoch,同时clear其他服务器发送过来的选举数据。判断是否需要更新当前自己的选举情况
如果Epoch小于目前的Epoch,说明对方的epoch过期了,也就意味着对方服务器的选举轮数是过期的。这个时候,只需要讲自己的信息发送给对方
(3) 处理投票。
针对每一个投票,服务器都需要将别人的投票和自己的投票进行PK,PK规则如下
· 优先检查ZXID。ZXID比较大的服务器优先作为Leader。
· 如果ZXID相同,那么就比较myid。myid较大的服务器作为Leader服务器。
然后会重新投票。
(4)统计投票,判断是否已经有过半机器接受到相同的投票信息,如果有则证明Leader服务器被选出来了
(5)改变服务器状态。
一旦确定了Leader,每个服务器就会更新自己的状态,如果是Follower,那么就变更为FOLLOWING,如果是Leader,就变更为LEADING。
三、ZAB(Zookeeper atomic broadcast)协议
1.概述
拜占庭问题
paxos协议主要就是如何保证在分布式环网络环境下,各个服务器如何达成一致最终保证数据的一 致性问题
ZAB协议,基于paxos协议的一个改进。
zab协议为分布式协调服务zookeeper专门设计的一种支持崩溃恢复的原子广播协议
zookeeper并没有完全采用paxos算法, 而是采用zab
2.原理
a.在zookeeper 的主备模式下,通过zab协议来保证集群中各个副本数据的一致性
b.zookeeper使用的是单一的主进程来接收并处理所有的事务请求,并采用zab协议,把数据的状态变更以事务请求的形式广播到其他的节点
c.zab协议在主备模型架构中,保证了同一时刻只能有一个主进程来广播服务器的状态变更
d.所有的事务请求必须由全局唯一的服务器来协调处理,这个的服务器叫leader,其他的叫follower,leader节点主要负责把客户端的事务请求转化成一个事务提议(proposal),并分发给集群中的所有follower节点,再等待所有follower节点的反馈。一旦超过半数服务器进行了正确的反馈,那么leader就会commit这条消息
3.崩溃恢复
a.什么情况下zab协议会进入崩溃恢复模式
1)当服务器启动时
2)当leader服务器出现网络中断、崩溃或者重启的情况
3)集群中已经不存在过半的服务器与该leader保持正常通信
b.zab协议进入崩溃恢复模式会做什么
1) 当leader出现问题,zab协议进入崩溃恢复模式,并且选举出新的leader。当新的leader选举出来以后,如果集群中已经有过半机器完成了leader服务器的状态同步(数据同步),退出崩溃恢复,进入消息广播模式
2)当新的机器加入到集群中的时候,如果已经存在leader服务器,那么新加入的服务器就会自觉进入数据恢复模式,找到leader进行数据同步
四、问题
假设一个事务在leader服务器被提交了,并且已经有过半的follower返回了ack。 在leader节点把commit消息发送给folower机器之前leader服务器挂了怎么办
1.选举新的leader(zxid的最大值)
2.然后将leader的数据同步给其他的folower
五、总结
Maser选举、Leader选举、崩溃恢复、消息广播、ZAB协议
Maser选举(属于zookeeper的应用):在主从模式下,主节点挂掉后,从slave节点选取master节点的过程。利用zookeeper的临时节点特性,多个slave节点同时去注册一个master节点,注册成功的会成为master。
Leader选举(zookeeper内部机制):当Leader挂掉时(这时进入崩溃恢复模式),会从follower进行选取Leader,利用(sid,zxid)大小关系投票选取Leader。当Leader选举出来后,会退出崩溃恢复模式,进行消息广播,将Leader的数据同步给follower。
ZAB协议(Zookeeper Atomic Broadcast):zookeeper原子消息广播协议,是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。