【ELFK】之zookeeper

2023-09-18 10:35:26

本章主要内容:

1、zookeeper简介

2、zookeeper工作机制

3、zookeeper数据结构

4、应用场景

5、选举机制

6、非第一次启动选举机制

7、zookeeper部署实验

一、zookeeper简介

zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。

管理节点服务器,完成对节点的调用。

至少三台主机,且主机数为奇数。

kafka是不可以脱离zookeeper进行单独使用,因为kafka是利用zookeeper来进行管理的

来管理调用kafka各个节点。

二、工作机制

2.1

zookeeper=文件系统+通知机制

服务器上线会先到zookeeper中进行注册,把服务器的所有信息放入zookeeper当中。

zookeeper中有了服务器的数据后会告诉客户端服务器上新了,客户端会获取到服务器列表中的数据并对服务器注册监听。

服务器上线下线有通知机制,通知客户端服务器的上下线。

2.2、zookeeper特点

1、zookeeper:一个领导者(leader),多个追随者(follower)组成的集群。

2、zookeeper集群中只要有半数以上节点存活,zookeeper集群就能正常服务。所以zookeeper适合按照奇数台服务器。

3、全局数据一致性:每个服务器保存一份相同的数据副本,客户端无论连接端哪个服务器,数据都是一致的。

4、更新请求顺序执行,来自同一个客户端的请求按其发送顺序依次执行,即先进先出。

5、实时性,在一定时间范围内,客户端能读到最新数据。

6、数据更新原子性,即一次数据更新要么成功,要么失败。

三、zookeeper的数据结构

和linux系统类似,整体上可以看作一棵树,每个节点称作一个zNode。

每一个zNode默认能够存储1MB的数据,每个zNode都可以通过其路径唯一标识。

四、应用场景

提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

4.1、统一命名服务

在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如:IP不容易记住,而域名容易记住。

4.2、统一配置管理

(1)分布式环境下,配置文件同步非常常见。一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群。对配置文件修改后,希望能够快速同步到各个节点上。
(2)配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦 Znode中的数据被修改,ZooKeeper将通知各个客户端服务器。

4.3、统一集群管理

(1)分布式环境中,实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
(2)ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。

4.4、服务器动态上下线

客户端能实时洞察到服务器上下线的变化。

4.5、软负载均衡

在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。

五、zookeeper选举机制

zookeeper的选举机制分为 1,第一次启动选举机制  2,非第一次启动选举机制

●第一次启动选举机制
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:
此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。

此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。
此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。
服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。

六、非第一次启动选举机制

6.1、当ZooKeeper 集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:

1)服务器初始化启动。
2)服务器运行期间无法和Leader保持连接。

6.2、而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:

1)集群中本来就已经存在一个Leader。

对于已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和 Leader机器建立连接,并进行状态同步即可。

2)集群中确实不存在Leader。

假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。
某一时刻,3和5服务器出现故障,因此开始进行Leader选举。
选举Leader规则:
1.EPOCH大的直接胜出
2.EPOCH相同,事务id大的胜出
3.事务id相同,服务器id大的胜出

-------------------------------------------------------------------------------------
SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。
Epoch:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加
-------------------------------------------------------------------------------------

七、zookeeper部署

更多推荐

IntelliJ IDEA使用——Debug操作

文章目录版本说明图标和快捷键查看变量计算表达式条件断点多线程调试版本说明当前的IntelliJIDEA的版本是2021.2.2(下载IntelliJIDEA)ps:不同版本一些图标和设置位置可能会存在差异,但应该大部分都差不多。图标和快捷键图标快捷键说明Ctrl+F8打断点,在需要的代码行进行断点测试Alt+F10定位

Vue|项目结构与执行过程介绍

一、项目文件1.1目录结构1.2结构介绍二、执行过程2.1main.js2.2App.vue2.3index.html三、生命周期3.1周期阶段3.2Vue实例的产生过程3.3钩子函数用途一、项目文件1.1目录结构1.2结构介绍文件结构文件介绍node_modules第三方包文件夹public放html文件的地方fav

微信小程序商城怎么弄

微信小程序商城怎么弄?这是一个常见的问题,对于那些想要在微信上创建一个自己的商城的人来说。下面为您介绍一些基本的步骤和注意事项,帮助您轻松地创建一个微信小程序商城。首先,要创建一个微信小程序商城,您需要注册一个微信小程序账号并开通商户号。具体步骤如下:打开微信公众平台,点击右上角的“立即注册”,选择小程序账号,并按照提

【lesson8】gdb的介绍及使用

文章目录gdb的介绍什么是gdb?背景认识gdb的使用gcc/g++程序文件名-o将来生成的可执行程序名-ggdb调试命令gdb可执行程序名quitlistl0Enterr(run)b(breakpoint)+n(行号)infobd(delete)+断点编号n(next)p(printf)+变量名s(step)btfi

Python中的文件I/O操作:常见问题与解决方案

目录常见问题代码示例文件路径问题:文件权限问题:文件编码问题:文件读写模式问题:文件未关闭问题:大文件处理问题:文件读写过程中的异常处理问题:文件内容格式问题:跨平台换行符问题:二进制文件处理问题:总结在Python编程中,文件I/O操作是常见的任务之一。无论是读取文件内容、写入新数据还是追加信息,文件I/O操作都是不

客观题:Android基础【基础题】

一.单选题(共6题,60分)1.(单选题,10分)Android四层架构中,应用框架层使用的是什么语法?A.JavaB.AndroidC.CD.C++正确答案:AAndroid四层架构通常指的是Android应用的四个关键组件,包括:应用层(ApplicationLayer):这是最顶层的层次,包括用户界面(UI)和应

GaussDB技术解读系列:数据库迁移创新实践

近日,以“数智赋能共筑未来”为主题的第14届中国数据库技术大会(DTCC2023)在北京举行,在GaussDB“五高两易”核心技术,给世界一个更优选择的专场,华为云数据库生态工具研发总监窦德明分享了GaussDB数据库的迁移创新实践。本篇将分享GaussDB数据库迁移的创新实践。易迁移能力是企业数据库替换选型的关键考量

华硕电脑怎么录屏?分享实用录制经验!

“华硕电脑怎么录屏呀,刚买的笔记本电脑,是华硕的,自我感觉挺好用的,但是不知道怎么录屏,最近刚好要录一个教程,怎么都找不到在哪里录制,有人能教教我吗?”随着电脑技术的不断发展,人们越来越依赖电脑进行工作和娱乐。录屏功能作为电脑的一项重要功能,已经逐渐成为人们日常生活中的必备工具。华硕作为知名的电脑品牌,为用户提供了便捷

C语言——自定义类型结构体_学习笔记

结构体的基本概念结构体是一种用户自定义的数据类型,可以包含多个不同类型的变量。通过使用结构体,我们可以将相关联的数据组织在一起,便于管理和使用。结构体的声明正常的结构体声明在C语言中,结构体(struct)指的是一种数据结构,是C语言中聚合数据类型的一类。结构体可以包含多个不同类型的数据成员,例如:int、float、

linux的应用线程同步与驱动同步机制

同步机制在Linux应用程序和内核中的驱动程序中,有一些常见的同步机制用于实现线程或进程之间的同步和数据访问保护。下面是它们的一些主要机制:Linux应用程序中的同步机制:互斥锁(Mutex):用于保护共享资源,确保只有一个线程可以访问该资源。应用程序可以使用pthread_mutex_t类型的互斥锁,使用pthrea

爬虫入门基础:深入解析HTTP协议的工作过程

目录一、HTTP协议简介二、HTTP协议的工作过程三、请求方法与常见用途四、请求头与常见字段五、状态码与常见含义六、进阶话题和注意事项总结在如今这个数字化时代,互联网已经成为我们获取信息、交流和娱乐的主要渠道。而在互联网中,HTTP协议则扮演着至关重要的角色。HTTP,全称HypertextTransferProtoc

热文推荐