zookeeper最基础教程

2023-09-16 17:24:34

文章目录

一、简介

1、工作机制

官方地址：https://zookeeper.apache.org/

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

  • Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

在这里插入图片描述

2、特点

  • Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
  • 集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
  • 全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
  • 更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行。
  • 数据更新原子性，一次数据更新要么成功，要么失败。
  • 实时性，在一定时间范围内，Client能读到最新数据。

在这里插入图片描述

3、数据结构

  • ZooKeeper数据模型的结构与Unix文件系统很类似。
  • 整体上可以看作是一棵树，每个节点称做一个ZNode。
  • 每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

在这里插入图片描述

4、应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

  • 统一命名服务
  • 统一配置管理
  • 统一集群管理
  • 服务器节点动态上下线
  • 软负载均衡等

统一命名服务

  • 在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

统一配置管理

  • 分布式环境下，配置文件同步非常常见。

    • 一般要求一个集群中，所有节点的配置信息是一致的，比如 Kafka 集群。
    • 对配置文件修改后，希望能够快速同步到各个节点上。

  • 配置管理可交由ZooKeeper实现。

    • 可将配置信息写入ZooKeeper上的一个Znode。
    • 各个客户端服务器监听这个Znode。
    • 一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。

在这里插入图片描述

统一集群管理

  • 分布式环境中，实时掌握每个节点的状态是必要的。
    • 可根据节点实时状态做出一些调整。
  • ZooKeeper可以实现实时监控节点状态变化。
    • 可将节点信息写入ZooKeeper上的一个ZNode。
    • 监听这个ZNode可获取它的实时状态变化。

在这里插入图片描述

服务器动态上下线

在这里插入图片描述

软负载均衡

  • 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

在这里插入图片描述

5、选举机制

首次启动

  • 1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
  • 2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING。
  • 3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
  • 4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
  • 5）服务器5启动，同4一样当小弟。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

非第一次启动

在这里插入图片描述

二、软件安装

# The number of milliseconds of each tick
# 通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
tickTime=2000d

# The number of ticks that the initial 
# synchronization phase can take
# LF初始通信时限
initLimit=10

# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
# LF同步通信时限
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#dataDir=/tmp/zookeeper
# 保存Zookeeper中的数据
dataDir=/opt/module/zookeeper-3.5.7/zkData

# the port at which the clients will connect
#客户端连接端口，通常不做修改
clientPort=2181

1、单机版安装

安装JDK(首先需要安装JDK)

yum install java-1.8.0-openjdk-devel.x86_64

创建文件/opt/module

mkdir /opt/module
cd /opt/module

下载文件

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

解压文件

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module

修改安装目录名

mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7

配置环境变量

vim /etc/profile.d/my_env.sh

# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

加载环境变量

source /etc/profile

添加配置文件

cd /opt/module/zookeeper-3.5.7/conf/
mv zoo_sample.cfg zoo.cfg

修改配置文件

vim zoo.cfg
#	修改数据所在文件
dataDir=/opt/module/zookeeper-3.5.7/zkData

创建日志目录

mkdir /opt/module/zookeeper-3.5.7/zkData

启动zookeeper

bin/zkServer.sh start

在这里插入图片描述

查询启动状态

# 查看进程
jps
# 查看状态
bin/zkServer.sh status

在这里插入图片描述

启动客户端

bin/zkCli.sh

退出客户端

quit

停止zookeeper

bin/zkServer.sh stop

2、集群安装

安装JDK(首先需要安装JDK)

yum install java-1.8.0-openjdk-devel.x86_64

创建文件/opt/module

mkdir /opt/module
cd /opt/module

下载文件

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

解压文件

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module

修改安装目录名

cd /opt/module
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7

创建数据存储目录

cd /opt/module/zookeeper-3.5.7/
mkdir zkData

在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件

在文件中添加与server对应的编号（注意：上下不要有空行，左右不要有空格）

cd /opt/module/zookeeper-3.5.7/zkData
vim myid
#	服务器编号，每台服务器要不同
1

配置zoo.cfg配置文件

cd /opt/module/zookeeper-3.5.7/conf
mv zoo_sample.cfg zoo.cfg

修改配置文件

vim /opt/module/zookeeper-3.5.7/conf/zoo.cfg

#	修改数据存储位置
dataDir=/opt/module/zookeeper-3.5.7/zkData

# 增加集群配置
#######################cluster##########################
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

在这里插入图片描述

启动集群(3台都要启动)

cd /opt/module/zookeeper-3.5.7
bin/zkServer.sh start

查看状态

bin/zkServer.sh status

在这里插入图片描述

在这里插入图片描述

3、配置参数解读(zoo.cfg)

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

# 通信心跳时间
tickTime=2000
# LF初始通信时限
initLimit=10
# LF同步通信时限
syncLimit=5
# 保存Zookeeper中的数据
dataDir=/tmp/zookeeper
# 客户端连接端口，通常不做修改
clientPort=2181
  • tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

在这里插入图片描述

  • initLimit = 10：LF初始通信时限

Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）

在这里插入图片描述

  • syncLimit = 5：LF同步通信时限

Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

在这里插入图片描述

  • dataDir：保存Zookeeper中的数据

注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。

  • clientPort = 2181：客户端连接端口，通常不做修改。

4、ZK集群启动脚本

#!/bin/bash

case $1 in
"start"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
};;
"stop"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 停止 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
};;
"status"){
	for i in hadoop102 hadoop103 hadoop104
	do
        echo ---------- zookeeper $i 状态 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
	done
};;
esac

三、命令行操作

1、语法

命令基本语法功能描述
help显示所有操作命令
ls path使用 ls 命令来查看当前znode的子节点 [可监听]-w 监听子节点变化-s 附加次级信息
create普通创建-s 含有序列-e 临时（重启或者超时消失）
get path获得节点的值 [可监听]-w 监听节点内容变化-s 附加次级信息
set设置节点的具体值
stat查看节点状态
delete删除节点
deleteall递归删除节点

2、使用

启动客户端

bin/zkCli.sh -server hadoop101:2181

显示所有操作命令

help

查看当前znode中所包含的内容

ls /

查看当前节点详细数据

ls -s /
  • czxid：创建节点的事务zxid
    • 每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。
  • ctime：znode被创建的毫秒数（从1970年开始）
  • mzxid：znode最后更新的事务zxid
  • mtime：znode最后修改的毫秒数（从1970年开始）
  • pZxid：znode最后更新的子节点zxid
  • cversion：znode子节点变化号，znode子节点修改次数
  • dataversion：znode数据变化号
  • aclVersion：znode访问控制列表的变化号
  • ephemeralOwner：如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。
  • dataLength：znode的数据长度
  • numChildren：znode子节点数量

在这里插入图片描述

3、节点相关

节点可以分为持久节点、短暂节点。

  • 持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除。
    • 持久化目录节点客户端与Zookeeper断开连接后，该节点依旧存在
    • 持久化顺序编号目录节点客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
  • 短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除。
    • 临时目录节点客户端与Zookeeper断开连接后，该节点被删除。
    • 临时顺序编号目录节点客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。

注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

在这里插入图片描述

分别创建2个普通节点（创建节点时，要赋值）

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"

获取子节点

ls /sanguo

获取sanguo的值

get -s /sanguo

在这里插入图片描述

  • 普通节点：create /test/test1 "zhansan01"
  • 带序号节点：create -s /test/test1 "zhansan01"：创建的节点带序号test1000001
  • 短暂节点：create -e /test/test1 "zhansan01"：关闭客户端后会消失(临时)

在这里插入图片描述

创建普通节点

create /test/test1 "zhansan01"

创建带序号节点

create -s /test/test2/test21 "zhansan02"
create -s /test/test2/test22 "lisi02"
create -s /test/test2/test23 "wangwu02"

创建短暂节点(关闭客户端后消失)

create -e /test/test3 "zhansan03"
#	创建短暂的带序号的节点
create -e -s /test/test3 "lisi03"

在这里插入图片描述

修改节点的值

set /test/test3 "wangwu03"

在这里插入图片描述

4、监听器原理

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时，ZooKeeper会通知客户端。监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

监听原理

  • 1）首先要有一个main()线程
  • 2）在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）。
  • 3）通过connect线程将注册的监听事件发送给Zookeeper。
  • 4）在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
  • 5）Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
  • 6）listener线程内部调用了process()方法。

常见的监听

#监听节点数据的变化
get path [watch]
# 监听子节点增减的变化
ls path [watch]

在这里插入图片描述

监控/test值变化

get -w /test
#	更新/test值
set /test "zhangsan"

注意：在hadoop103再多次修改/sanguo的值，hadoop104上不会再收到监听。因为注册一次，只能监听一次。想再次监听，需要再次注册。

在这里插入图片描述

监控子目录变化

ls -w /test
#	新建子目录值
create /test/test4 "zhangsan04"

注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。

在这里插入图片描述

5、节点删除与查看

删除节点

delete /test/test4

递归删除节点

deleteall /test/test2

查看节点状态

stat /test

在这里插入图片描述

三、写数据流程

在这里插入图片描述

更多推荐

【数据结构】—从直接插入排序升级到希尔排序究极详解（含C语言实现）

食用指南：本文在有C基础的情况下食用更佳🔥这就不得不推荐此专栏了：C语言♈️今日夜电波：透明で透き通って何にでもなれそうで—HaKU2:05━━━━━━️💟────────5:38🔄◀️⏸▶️☰💗关注👍点赞🙌收藏您的每一次鼓励都是对我莫大的支持😍目录♉️一、前置知识—什么是插入排序♊️二、直接插入排序直接

开源媒体浏览器Kyoo

什么是Kyoo？Kyoo是一款开源媒体浏览器，可让您流式传输电影、电视节目或动漫。它是Plex、Emby或Jellyfin的替代品。Kyoo是从头开始创建的，它不是一个分叉。一切都将永远是免费和开源的。软件特性：管理您的电影、电视剧和动漫自动下载元数据Transmux/Transcode文件以使它们在每个平台上可用具有

Redis常用数据类型及其应用场景

文章目录StringListHashSetSortedSetBitmapString字符串（String）：可以存储任意类型的数据，比如字符串、整数、浮点数等。Redis中String数据类型的常用命令包括：设置值：SETkeyvalue，设置键key的值为value。获取值：GETkey，获取键key的值。获取值的长

产品新闻稿件怎么写？纯干货

写产品新闻稿件需要遵循一定的结构和写作规范，接下来伯乐网络传媒来给大家分享一下，以下是一些建议和步骤，供您参考：标题：使用简洁、准确的语言来概括产品的核心信息，吸引读者的兴趣。导语/导览：在开篇部分，以简洁明了的语句引起读者的兴趣，概述产品的主要特点和亮点。产品背景：介绍产品推出的背景和动机，例如市场需求、行业趋势或竞

【教程】AERMOD高斯稳态扩散模型

查看原文>>>基于AERMOD模型在大气环境影响评价中的实践应用随着我国经济快速发展，我国面临着日益严重的大气污染问题。近年来，严重的大气污染问题已经明显影响国计民生，引起政府、学界和人们越来越多的关注。大气污染是工农业生产、生活、交通、城市化等方面人为活动的综合结果，同时气象因素是控制大气污染的关键自然因素。大气污染

基础概念回顾：云原生应用交付

原文链接：基础概念回顾：云原生应用交付转载来源：NGINX开源社区NGINX唯一中文官方社区，尽在nginx.org.cn尽管云原生应用开发诞生于21世纪初，但是在术语使用方面还是非常混乱。本文将带您了解常见的术语和问题。云原生云原生计算基金会(CNCF)对“云原生”的定义如下：云原生技术允许企业在公有云、私有云和混合

数据结构-----栈（栈的初始化、建立、入栈、出栈、遍历、清空等操作）

目录前言栈1.定义2.栈的特点3.栈的储存方式3.1数组栈3.2链栈4.栈的基本操作（C语言）4.1初始化4.2判断是否满栈4.3判断空栈4.4入栈4.5出栈4.6获取栈顶元素4.7遍历栈4.8清空栈完整代码示例前言大家好呀！今天我们开始学习新的线性表结构----栈，前面我们学习了链表以及链表的相关操作，那么栈跟链表有

java高级:注解

目录认识注解&自定义注解元注解解析注解注解的应用场景认识注解&自定义注解注解和反射一样，都是用来做框架的，我们这里学习注解的目的其实是为了以后学习框架或者做框架做铺垫的。先来认识一下什么是注解？Java注解是代码中的特殊标记，比如@Override、@Test等，作用是：让其他程序根据注解信息决定怎么执行该程序。比如：

【Powershell 】（Windows下）常用命令 | 命令别名 | 运行Windows命令行工具 | 运行用户程序（vim、gcc、gdb）

微软官方Powershell文档：https://learn.microsoft.com/zh-cn/powershell/命令详细说明，在PDF的最后面：一、Powershell及命令简介1.1命令格式1.2命令的别名二、cmdlet别名三、cmdlet分类介绍3.1基础命令1.Get-Command2.Get-He

什么是Web浏览器的缓存机制？如何控制和清除浏览器缓存？

聚沙成塔·每天进步一点点⭐专栏简介⭐Web浏览器的缓存机制⭐浏览器缓存的工作原理⭐控制和清除浏览器缓存控制缓存⭐清除缓存⭐写在最后⭐专栏简介前端入门之旅：探索Web开发的奇妙世界欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是

JVM面试题(三)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言二、java中垃圾收集的方法有哪些?1.标记-清除:2.复制算法:3.标记-整理4.分代收集三、java内存模型四、简述java类加载机制?五、类加载器双亲委派模型机制？六、什么是类加载器，类加载器有哪些?七、简述java内存分配与回收策率以及

热文推荐
  1. SpringMVC之JSON数据返回与异常处理机制---全方面讲解

    一，JSON数据返回的理解在SpringMVC中，当需要将数据以JSON格式返回给客户端时，可以使用@ResponseBody注解或@RestController注解将Controller方法的返回值直接转化为JSON格式并返回。这使得开发者可以方便地将Java对象转换为JSON，并通过HTTP响应返回给客户端。Spr

  2. TCP协议

    文章目录TCP协议1.TCP协议段格式(1)2个核心问题(解包与分用)(2)TCP的可靠性2.确认应答(ACK)机制3.16位窗口大小4.6位标志位(1)ACK(2)SYN(3)FIN(4)PSH(5)RST(6)URG5.超时重传机制6.连接管理机制6.0TCP协议通讯流程6.1三次握手(1)前置问题(2)细节问题(

  3. 面试题三：请你谈一谈Vue中的filter功能的实现

    Vue中过滤器(filter)的使用我们想一下有methods为什么要有filter的存在呢，因为filter的实现效率比methods要高的多。看一下官方定义：Vue.js允许你自定义过滤器，可被用于一些常见的文本格式化。过滤器可以用在两个地方：双花括号插值和v-bind表达式(后者从2.1.0+开始支持)。过滤器应

  4. Vue3 学习-组件通讯（二）

    文章目录前言一、props通信二、自定义事件（emit）三、全局事件总线(EventBus)四、v-model五、userAttrs六、ref和$parent七、Provide与Inject八、pinia九、slot插槽总结前言本文主要记录Vue3的九种组件通信方式一、props通信子组件需要用defineProps方

  5. springboot日志配置（logback+slf4j配置）

    1.为什么要配置日志故障排查和问题分析：日志记录允许开发人员和运维人员在系统发生问题或故障时追踪问题的根本原因。通过查看日志文件，他们可以了解系统在特定时间点发生了什么事情，从而更容易定位和解决问题。性能监控和优化：日志记录可以帮助监控应用程序和系统的性能。通过分析日志数据，你可以识别性能瓶颈和瓶颈的位置，从而采取相应

  6. RPA和传统自动化的区别？

    随着科技的不断发展，企业对于自动化工具的需求也在逐渐增加。在自动化领域中，传统的自动化技术和现代的RPA（RoboticProcessAutomation）都是重要的自动化工具，但它们之间存在一些明显的区别。本文将从技术、应用和未来趋势三个方面来探讨RPA和传统自动化的区别。一、技术上的区别自动化方式传统的自动化技术通

  7. Java安全入门笔记(持续更新)

    之前陆陆续续学过一点Java安全，笔记一直都没没有系统的写过，现在重新深入学一下之前的知识，会把笔记持续更新过来Java反射反射是java得一个重要特性，它可以获取一个类的所有信息，还可以执行类中的方法反射赋予Java动态特性我个人感觉静态语言的安全性是比较高的，因为一个供给使用的静态语言的程序的结构时固定的，能给攻击

  8. Linux内核源码分析 (B.11) 从内核世界透视 mmap 内存映射的本质（原理篇）

    Linux内核源码分析(B.11)从内核世界透视mmap内存映射的本质（原理篇）文章目录Linux内核源码分析(B.11)从内核世界透视mmap内存映射的本质（原理篇）1\.详解内存映射系统调用mmap2\.私有匿名映射3\.私有文件映射4\.共享文件映射5\.共享匿名映射6\.参数flags的其他枚举值7\.大页内存

  9. 说说Object类下面有几种方法呢？

    今天说一道基础题型，不过很多人会忽略或者至少说不完整，但是面试时被问到的几率还是很大的。面试题Object有几种方法呢？Java语言是一种单继承结构语言，Java中所有的类都有一个共同的祖先。这个祖先就是Object类。如果一个类没有用extends明确指出继承于某个类，那么它默认继承Object类。Object的方法