[hive]搭建hive3.1.2hiveserver2高可用可hive metastore高可用

2023-09-19 10:18:39

参考:

Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本_薛定谔的猫不吃猫粮的博客-CSDN博客

没用里头的hive on spark,测试后发现版本冲突 

一、Hive 集群规划(蓝色部分)

ck1ck2ck3
SecondaryNameNodeNameNode
DataNodeDataNodeDataNode
ResourceManager
yarn historyserver
NodeManagerNodeManagerNodeManager
MySQL
hiveServer2hiveServer2
hiveMetastorehiveMetastore
Spark
Spark JobHistoryServer

二、配置文件

记得向hive的lib导入mysql6以上的安装包，否则：

[hive]报错:Caused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver_胖胖学编程的博客-CSDN博客

1、ck3和ck2相同的

1)hive-env.sh 末尾添加3行：

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/data_warehouse/module/hadoop-3.1.3

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/data_warehouse/module/hive-3.1.2/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/home/data_warehouse/module/hive-3.1.2/lib

2)环境变量

#HIVE_HOME
export HIVE_HOME=/home/data_warehouse/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

2、ck3和ck2不同的

ck3

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://ck3:3306/metastore?useSSL=false</value>
  </property>
<!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
<!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
<!-- jdbc 连接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
<!-- Hive 元数据存储版本的验证 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<!--元数据存储授权-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <!-- 指定存储元数据要连接的地址
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck3:9083</value>
  </property> -->
<!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.server2.session.check.interval</name>
    <value>60000</value>
  </property>
  <property>
    <name>hive.aux.jars.path</name>
    <value>/home/data_warehouse/module/hive-3.1.2/lib</value>
  </property>

  <property>
    <name>hive.execution.engine</name>
    <value>mr</value>
  </property>

  <!--hive metastore高可用-->
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck2:9083,thrift://ck3:9083</value>
  </property>

  <!--hiveserver2高可用-->
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <!-- <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property> -->
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2_zk</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>ck1:2181,ck2:2181,ck3:2181</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <!--填写节点, 如ck2,ck3 注意要填写本机的hostname-->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ck3</value>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  <!--hiveserver2 webui-->
  <property>
      <name>hive.server2.webui.host</name>
      <value>ck3</value>
  </property>
  <property>
      <name>hive.server2.webui.port</name>
      <value>10002</value>
  </property>
  <!-- <property>
    <name>hive.server2.idle.session.timeout</name>
    <value>3600000</value>
  </property>  -->

</configuration>

ck2

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://ck3:3306/metastore?useSSL=false</value>
  </property>
<!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
<!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
<!-- jdbc 连接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
<!-- Hive 元数据存储版本的验证 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<!--元数据存储授权-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <!-- 指定存储元数据要连接的地址
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck3:9083</value>
  </property> -->
<!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.server2.session.check.interval</name>
    <value>60000</value>
  </property>
  <property>
    <name>hive.aux.jars.path</name>
    <value>/home/data_warehouse/module/hive-3.1.2/lib</value>
  </property>

  <property>
    <name>hive.execution.engine</name>
    <value>mr</value>
  </property>

  <!--hive metastore高可用-->
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck2:9083,thrift://ck3:9083</value>
  </property>

  <!--hiveserver2高可用-->
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <!-- <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property> -->
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2_zk</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>ck1:2181,ck2:2181,ck3:2181</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <!--填写节点, 如ck2,ck3 注意要填写本机的hostname-->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ck2</value>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  <!--hiveserver2 webui-->
  <property>
      <name>hive.server2.webui.host</name>
      <value>ck2</value>
  </property>
  <property>
      <name>hive.server2.webui.port</name>
      <value>10002</value>
  </property>
  <!-- <property>
    <name>hive.server2.idle.session.timeout</name>
    <value>3600000</value>
  </property>  -->

</configuration>

三、运行hiveserver2和hive metastore服务的脚本（ck2，ck3相同,下面缺一不可)

将这两个脚本放在/home/data_warehouse/module/hive-3.1.2/bin下，并chmod 777

1、hiveservices.sh

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

2、hive2server.sh

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== ck3 启动 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh start"
        echo " =================== ck2 启动 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh start"
;;
"stop")
        echo " =================== ck3 停止 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh stop"
        echo " =================== ck2 停止 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh stop"
;;
"status")
        echo " =================== ck3 查看 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh status"
        echo " =================== ck2 查看 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh status"
;;

*)
    echo "Input Args Error...start|stop|status"
;;
esac

四、启动hiveserver2和metastire服务

1、启动 :在ck3或ck2上:hive2server.sh start

2、查看状态 :在ck3或ck2上:hive2server.sh status

3、关闭 :在ck3或ck2上:hive2server.sh stop

五、使用

依次输入下面两个命令

beeline
!connect jdbc:hive2://ck1,ck2,ck3/;password=123456;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk  root

更多推荐

需要每日温习的java八股文基础

一、java（1）集合1.list：LinkedList、ArrayList和VectorArrayList、LinkedList和Vector的区别，场景和扩容机制源码LinkedList接口实现类，链表，插入删除，没有同步，线程不安全ArrayList接口实现类，数组，随机访问，没有同步，线程不安全Vector接口

SpringBoot_快速入门

一、SpringBoot概述文档下载地址：https://docs.spring.io/spring-boot/docs/current/reference/1.SpringBoot介绍概述：SpringBoot开发团队认为Spring操作太繁琐了，目的在于简化开发配置，能够快速搭建开发环境，集成了tomcat，对于开

如何使用反 CSRF 令牌保护您的网站和 Web 应用程序

防止跨站点请求伪造攻击(CSRF/XSRF)的最常见方法是使用反CSRF令牌，该令牌只是一个唯一值集，然后由Web应用程序需要。CSRF是一种客户端攻击，可用于将用户重定向到恶意网站、窃取敏感信息或在用户会话中执行其他操作。幸运的是，使用CSRF令牌来保护用户免受CSRF攻击及其后果相对容易。CSRF原理那我们具体看看

前端工程师笔试题【校招】

1.设一个有序的单链表中有n个结点，现要求插入一个新结点后使得单链表仍然保持有序，则该操作的时间复杂度为()。如果要在一个有序的单链表中插入一个新节点，以保持单链表的有序性，时间复杂度取决于插入的位置。以下是几种常见的情况：在链表的头部插入新节点：如果要在链表的头部插入一个新节点，只需要将新节点的指针指向当前链表的头节

3、ARM寄存器组织

ARM寄存器组织1、寄存器概念寄存器是处理器内部的存储器，没有地址作用一般用于暂时存放参与运算的数据和运算的结果分类包括通用寄存器、专用寄存器、控制寄存器2、ARM寄存器注：在某个特定的模式下，只能使用当前模式下的寄存器。一个模式下的特有寄存器在其他模式下不可以使用专用寄存器R15（PC，ProgramCounter）

Vue Grid Layout -️ 适用Vue.js的栅格布局系统，在vue3+上使用

文章目录1、官网简介2、在vue3中使用1)、需要导入vue3支持的版本插件2)、在mian.js里引入：3)、在组件中使用3、layout布局的计算逻辑4、gridLayout的属性该栅格系统目前对vue2的支持是最好的，vue3是需要用插件支持的，会在小节详细讲解。1、官网简介官网地址：https://madewi

python Sqlalchemy

简介SQLAlchemy是python中，通过ORM操作数据库的框架。它简化了应用程序开发人员在原生SQL上的操作，使开发人员将主要精力都放在程序逻辑上，从而提高开发效率。它提供了一整套著名的企业级持久性模式，设计用于高效和高性能的数据库访问。安装pipinstallSQLAlchemy连接数据（engine）任何SQ

Java性能调优工具“JRMC”的介绍

Java虚拟机(JVM)及垃圾收集器(GC)负责管理大多数的内存任务，但是Java应用系统中还是有可能出现内存泄漏。事实上，OOM之类的现象在大型项目中也是一个常见的问题。避免内存泄漏的第一步是要弄清楚它是如何发生的，然后对症下药。那究竟是什么导致了Java程序中的内存泄漏呢？难道Java虚拟机的垃圾收集器不应该管理未

开源日报 0824 | 构建UI组件和页面的前端工作坊

Storybook是一个用于构建UI组件和页面的前端工作坊，支持多种主流框架，提供丰富的插件，具有可配置性强和扩展性好的特点。storybookjs/storybookStars:79.9kLicense:MITStorybook是一个用于构建UI组件和页面的前端工作坊，可以独立地进行开发、测试和文档编写。它支持多种主

Nginx 配置错误导致漏洞

Nginx配置错误导致漏洞运行成功后，Nginx将会监听8080/8081/8082三个端口，分别对应三种漏洞。Mistake1.CRLF注入漏洞漏洞描述CRLF是”回车+换行”（\r\n）的简称，,其十六进制编码分别为0x0d和0x0a。在HTTP协议中，HTTPHeader与HTTPBody是用两个CRLF分隔的，

redis-操作带过期时间的key需保证操作的原子性

问题：先执行get获取值，判断符合条件再执行incr、decr操作。在临界缓存失效的情况下，会默认赋值当前key为永不过期的0，再执行加减法，导致程序异常。推荐解决方案：1、限制接口频率：先incr，执行后值为1，说明是第一次执行，需要额外设置过期时间，再判断是否超过当前接口频率限制（注意上述步骤不可调换顺序）2、使用

热文推荐
  1. SpringCloud OpenFeign--声明式WebService 客户端

    😀前言本篇博文是关于SpringCloudOpenFeign的基本介绍，希望你能够喜欢🏠个人主页：晨犀主页🧑个人简介：大家好，我是晨犀，希望我的文章可以帮助到大家，您的满意是我的动力😉😉💕欢迎大家：这里是CSDN，我总结知识的地方，欢迎来到我的博客，感谢大家的观看🥰如果文章有什么需要改进的地方还请大佬不吝

  2. 2023华为OD统一考试（B卷）题库清单（按算法分类），如果你时间紧迫，就按这个刷

    目录专栏导读华为OD机试算法题太多了，知识点繁杂，如何刷题更有效率呢？一、逻辑分析二、数据结构1、线性表①数组②双指针2、map与list3、优先队列4、滑动窗口5、二叉树6、并查集7、栈三、算法1、基础算法①贪心算法②二分查找③分治递归④搜索算法⑤排序算法2、字符串①KMP②字符串处理③正则表达式3、深度优先搜索①广

  3. 携手共赴数智未来|维视智造出席2023英特尔工业物联网大会

    ​​9月20日，“数智芯生力”2023英特尔工业物联网大会”于上海隆重举办。作为主办方，英特尔邀请了赋能工业数字化技术创新的多位合作伙伴，展示当前中国工业物联网领域的优秀技术与成果，共聚一堂积极探讨数字化机器视觉、控制机器人等领域的热点话题。在工业数字化转型和“双碳”目标驱动下，制造业众多领域正在以前所未有的速度步入工

  4. 大型集团借力泛微搭建语言汇率时区统一、业务协同的国际化OA系统

    国际化、全球化集团，业务遍布全世界，下属公司众多，集团对管理方式和企业文化塑造有着很高的要求。不少大型集团以数字化方式助力全球统一办公，深化企业统一管理。面对大型集团全球化的管理诉求，数字化办公系统作为集团日常使用的平台，自然需要适应企业管理升级，灵活适应国际化带来的管理发展变化和满足全球协同办公需求。最重要的是实现信

  5. 华为OD：跳房子I

    题目描述跳房子，也叫跳飞机，是一种世界性的儿童游戏。游戏参与者需要分多个回合按顺序跳到第1格直到房子的最后一格跳房子的过程中，可以向前跳，也可以向后跳。假设房子的总格数是count，小红每回合可能连续跳的步教都放在数组steps中，请问数组中是否有一种步数的组合，可以让小红两个回合跳到最后一格?如果有，请输出索引和最小

  6. ffmpeg抠图

    1.不用png，用AVFrame2.合流3.图片抠图透明(1.)mp4扣yuv图，(2)用1.把一张yuv标记为透明然后av_hwframe_transfer_data到GPU(3)用抠图算法函数对yuv进行处理(4)qsv的h264_qsv只支持nv12和qsv，但qsv本身并不限制像素格式，比如在qsv里可以用vp

  7. MES系统是如何采集Modbus设备数据的呢？

    随着工业自动化的不断发展，各种协议和标准在行业中变得越来越重要。其中，Modbus协议是一种在工业自动化领域非常流行的通信协议，而Modbus网关是实现Modbus协议转换的关键设备。一、MES系统与Modbus网关MES系统即制造执行系统（ManufacturingExecutionSystem），是一套面向制造过程

  8. 【含java面试题】深入解析栈溢出及JVM参数设置

    AI绘画关于SD,MJ,GPT,SDXL百科全书面试题分享点我直达2023Python面试题2023最新面试合集链接2023大厂面试题PDF面试题PDF版本java、python面试题项目实战:AI文本OCR识别最佳实践AIGamma一键生成PPT工具直达链接玩转cloudStudio在线编码神器玩转GPUAI绘画、A

  9. SQL性能优化

    当你的数据里只有几千几万，那么SQL优化并不会发挥太大价值，但当你的数据里去到了几百上千万，SQL优化的价值就体现出来了！因此稍微有些经验的同学都知道，怎么让MySQL查询语句又快又好是一件很重要的事情。要让SQL又快又好的前提是，我们知道它「病」在哪里，而explain关键字就是MySQL提供给我们的一把武器！在我们