MeterSphere v2.10.X-lts 双节点HA部署方案

一、MeterSphere高可用部署架构及服务器配置

1.1 服务器信息

序号	应用名称	操作系统要求	配置要求	描述
1	负载均衡器	CentOS 7.X /RedHat 7.X	2C,4G，200GB	部署Nginx，实现负载路由。部署NFS服务器。
2	MeterSphere应用节点1	CentOS 7.X /RedHat 7.X	8C,16GB,200GB	部署MeterSphere应用
3	MeterSphere应用节点2	CentOS 7.X /RedHat 7.X	8C,16GB,200GB	部署MeterSphere应用
4	MySQL Master节点	CentOS 7.X /RedHat 7.X	8C,16GB,200GB	部署MySQL Master
5	MySQL Slave节点	CentOS 7.X /RedHat 7.X	8C,16GB,200GB	部署MySQL Slave

1.2 部署架构图

HA架构.jpg

二、Mysql8数据库主从搭建

2.1 下载安装包

下载地址：https://downloads.mysql.com/archives/community/

2.2 解压安装

下载好之后，上传服务器进行解压。

tar xvf mysql-8.0.32-1.el7.x86_64.rpm-bundle.tar

顺序安装rpm

rpm -ivh mysql-community-common-8.0.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-icu-data-files-8.0.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-8.0.32-1.el7.x86_64.rpm

注意：如果在安装 mysql-community-libs-8.0.32-1.el7.x86_64.rpm 的时候出现下面错误，说明已经安装了mariadb相关依赖，需要卸载。可以执行：yum remove mysql-libs ，清除之前的依赖即可。然后重新执行 rpm -ivh mysql-community-libs-8.0.32-1.el7.x86_64.rpm 即可。

初始化my.cnf

特别注意: 先配置my.cnf，再启动。如果已经启动了，没办法初始化大小写的问题了，这个时候可以删除重新初始化，操作如下：（正常配置可以忽略）

如果你不在意数据的话直接删除数据
停止MySQL
systemctl stop mysqld
删除 MySQL的数据(恢复到初始化之前)
rm -rf /var/lib/mysql

[mysqld]
datadir=/var/lib/mysql

default-storage-engine=INNODB
character_set_server=utf8mb4
lower_case_table_names=1   # 不区分大小写
performance_schema=off
table_open_cache=128
transaction_isolation=READ-COMMITTED
max_connections=1000
max_connect_errors=6000
max_allowed_packet=64M
innodb_file_per_table=1
innodb_buffer_pool_size=512M
innodb_flush_method=O_DIRECT
innodb_lock_wait_timeout=1800


character-set-client-handshake = FALSE
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
init_connect='SET default_collation_for_utf8mb4=utf8mb4_general_ci'

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

skip-name-resolve

[mysql]
default-character-set=utf8mb4

[mysql.server]
default-character-set=utf8mb

启动

# 启动 
systemctl start mysqld
# 停止
systemctl stop mysqld
# 状态
systemctl status mysqld
# 重启
systemctl restart msyqld

修改密码

# 查看密码
sudo grep 'temporary password' /var/log/mysqld.log  
# 如果上面查不到密码，可以执行下面的查看
sudo grep 'temporary password' /var/log/messages  
# 登录
mysql -uroot -p 密码
# 修改密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'Password123@mysql';
# 修改root作用域
update mysql.user set host = '%' where user = 'root';
# 刷新
flush privileges;
# 重启mysql
systemctl restart mysqld

2.3 主从配置

2.3.1 主库配置

修改 /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql

default-storage-engine=INNODB
character_set_server=utf8mb4
lower_case_table_names=1 # 不区分大小写
performance_schema=off
table_open_cache=128
transaction_isolation=READ-COMMITTED
max_connections=1000
max_connect_errors=6000
max_allowed_packet=64M
innodb_file_per_table=1
innodb_buffer_pool_size=512M
innodb_flush_method=O_DIRECT
innodb_lock_wait_timeout=1800


character-set-client-handshake = FALSE
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
init_connect='SET default_collation_for_utf8mb4=utf8mb4_general_ci'

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

skip-name-resolve


# 主从复制-主机配置
# 主服务器唯一ID
server-id=1
# 启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=sys
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
# 设置需要复制的数据库(可设置多个)
binlog-do-db=metersphere
# 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M
# 主从复制的格式（mixed,statement,row，默认格式是statement。建议是设置为row，主从复制时数据更加能够统一）
binlog_format=row
# 配置二进制日志自动删除/过期时间，单位秒，默认值为2592000，即30天；8.0.3版本之前使用expire_logs_days，单位天数，默认值为0，表示不自动
删除。
binlog_expire_logs_seconds=2592000


[mysql]
default-character-set=utf8mb4

[mysql.server]
default-character-set=utf8mb

重启MySQL

# 启动 
systemctl start mysqld
# 停止
systemctl stop mysqld
# 状态
systemctl status mysqld
# 重启
systemctl restart msyqld

创建主从复制用户

#创建主从复制用户
CREATE USER 'clusteruser'@'%' IDENTIFIED WITH mysql_native_password BY 'Calong@2015';
# 授权
GRANT REPLICATION SLAVE ON *.* TO 'clusteruser'@'%';
# 刷新
FLUSH PRIVILEGES;

2.3.2 从库配置

配置my.cnf

[mysqld]
datadir=/var/lib/mysql

default-storage-engine=INNODB
character_set_server=utf8mb4
lower_case_table_names=1
performance_schema=off
table_open_cache=128
transaction_isolation=READ-COMMITTED
max_connections=1000
max_connect_errors=6000
max_allowed_packet=64M
innodb_file_per_table=1
innodb_buffer_pool_size=512M
innodb_flush_method=O_DIRECT
innodb_lock_wait_timeout=1800


character-set-client-handshake = FALSE
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
init_connect='SET default_collation_for_utf8mb4=utf8mb4_general_ci'

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

skip-name-resolve


# 主从复制-主机配置
# 从服务器唯一ID
server-id=2
# 需要主从复制的数据库 ，如多个则重复配置
replicate-do-db=metersphere
# 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步） ，如多个则重复配置
binlog-ignore-db=mysql
# 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M
# 主从复制的格式（mixed,statement,row，默认格式是statement。建议是设置为row，主从复制时数据更加能够统一）
binlog_format=row
# relay_log配置中继日志，默认采用 主机名-relay-bin 的方式保存日志文件
relay_log=replicas-mysql-relay-bin
# log_replica_updates表示slave是否将复制事件写进自己的二进制日志，默认值ON开启；8.0.26版本之前使用log_slave_updates
log_replica_updates=ON
# 防止改变数据(只读操作，除了特殊的线程)
read_only=ON


[mysql]
default-character-set=utf8mb4

[mysql.server]
default-character-set=utf8mb

执行命令

CHANGE REPLICATION SOURCE TO SOURCE_HOST='10.1.12.13',SOURCE_PORT=3306,SOURCE_USER='clusteruser',SOURCE_PASSWORD='Calong@2015',SOURCE_LOG_FILE='mysql-bin.000003',SOURCE_LOG_POS=863;


MASTER_HOST/SOURCE_HOST：主数据库的主机ip
MASTER_PORT/SOURCE_PORT：主数据库的端口，不设置则默认是3306
MASTER_USER/SOURCE_USER：主数据库被授予同步复制权限的用户名
MASTER_PASSWORD/SOURCE_PASSWORD：对应的用户密码
MASTER_LOG_FILE/SOURCE_LOG_FILE：在主数据库执行命令show master status 查询到的二进制日志文件名称
MASTER_LOG_POS/SOURCE_LOG_POS：在主数据库执行命令show master status 查询到的位置 Position的值

开启从节点

# 查看从节点状态
show slave status \G;
# 启动
start slvae;
# 停止
stop slave;
# 重置
reset slave;

查看状态

2.4 验证

主库添加一条数据，查看从库中是否同步，如果有，说明成功，否则失败。
主库执行sql语句

# 主从库执行前查看数量
select  count(*) from workspace;

# 主库执行
INSERT INTO workspace ( `id`, `name`, `description`, `create_time`, `update_time`, `create_user` ) values ( "1", "test", "test", unix_timestamp(now())*1000, unix_timestamp(now())*1000, NULL );

# 主从库查看
select id,name from workspace  where id='1';

主库/从库执行前：

主库执行后：

以上验证成功，即为搭建没问题。

三、Nginx 搭建

3.1 下载nginx安装包

下载地址：https://nginx.org/en/download.html

3.2 解压Nginx并安装

安装nginx

1. 解压nginx安装包
tar -zxvf nginx-1.24.0.tar.gz

2. 创建文件夹
mkdir /usr/local/nginx

3. 安装依赖
yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel

4.解压
cd nginx-1.24.0/
./configure --prefix=/usr/local/nginx

5. 安装
make && make install

6. 启动
cd /usr/local/nginx/sbin
./nginx 

7.检查语法错误
./nginx -t 

8.重启
./nginx -s reload 

9.停止
./nginx -s stop 

10. 验证，默认是80端口，直接访问ip，出现nginx的html页面，说明部署成功

修改配置信息

1. 修改配置信息,可以直接覆盖原来的。目录：/usr/local/nginx/conf/nginx.conf
#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;
    include /usr/local/nginx/conf/conf.d/*.conf;
    #gzip  on;

}

2. 创建配置目录
mkdir /usr/local/nginx/conf/conf.d

3. 创建default.conf并编辑以下内容

>>
upstream servers.com {
  ip_hash;
  server 10.1.12.13:8081 weight=1 fail_timeout=10s max_fails=1; # 主节点1
  server 10.1.14.202:8081 weight=1 fail_timeout=10s max_fails=1; # 主节点2
}


server {
      listen       80;
      server_name  localhost;
      location / {
        proxy_pass http://servers.com;
        proxy_set_header Host               $host:$server_port;
        proxy_set_header X-Real-IP          $remote_addr;
        proxy_set_header X-Forwarded-Proto  $scheme;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
 }
<<

效果

四、安装MeterSphere服务

官网地址：https://metersphere.io/docs/v2.x/installation/offline_installation/

安装包地址：https://community.fit2cloud.com/#/products/metersphere/downloads
解压安装, 默认安装/opt 目录

tar -zxvf metersphere-offline-installer-v2.10.2-lts.tar.gz

修改配置信息

cd metersphere-offline-installer-v2.10.2-lts
vi install.conf

配置好之前搭建好MySQL的主节点信息，然后执行脚本安装

bash install.sh

查看服务状态

msctl status

另外一个节点同样的操作，参考上面安装即可。

五、NFS 搭建

搭建NFS是为了文件共享，使两个MeterSphere节点，文件同步。

5.1 服务端搭建

1. 在nginx节点安装NFS服务器
yum -y install nfs-utils

2. 安装nfs+rpc
yum -y install nfs-utils rpcbind

3. 验证nfs安装
rpm -qa nfs-utils

4. 服务端创建共享文件目录(目录可以自定义)
mkdir -p /data/
chmod 666 /data/

因为我们要共享的是/opt/metersphere/data目录，所以需要把其文件夹给复制过来。
1. 直接去到部署metersphere的服务器，把/opt/meterspere/data 给打包
tar -czvf data.tar.gz /opt/metersphere/data

2.然后传到部署nfs服务端/data目录下
最终效果如下：

[root@ms002 data]# pwd
/data
[root@ms002 data]# ls
api-folder  body  jar  jmeter  kafka  minio  mysql  node  prometheus  redis
[root@ms002 data]#



5.修改nfs的配置 /etc/exports

/data/  xx.xx.xx.xx(rw,sync,insecure,no_subtree_check,no_root_squash) xx.xx.xx.xx(rw,sync,insecure,no_subtree_check,no_root_squash)

# xx.xx.xx.xx 为客户端ip
#
#权限说明：
#rw   read-write，可读写；
#sync：文件同时写入硬盘和内存；
#async：文件暂存于内存，而不是直接写入内存；
#no_root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，也拥有root权限。显然开启这项是不安全的。
#root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，拥有匿名用户权限，通常他将使用nobody或nfsnobody身份；
#all_squash：不论NFS客户端连接服务端时使用什么用户，对服务端分享的目录来说都是拥有匿名用户权限；
#anonuid：匿名用户的UID值，通常是nobody或nfsnobody，可以在此处自行设定；
#anongid：匿名用户的GID值。
#insecure：当mount监听端口大于1024时需要使用此参数

6. 重载配置数据
exportfs -rv

7. 启动rpc
systemctl start rpcbind

8.设置rpc开机启动
systemctl enable rpcbind

9.检查RPC
rpcinfo -p localhost

10.启动 NFS 服务
systemctl start nfs 
systemctl enable nfs

5.2 客户端搭建（也就是安装MeterSphere节点的服务器）

1. 下载客户端
yum -y install nfs-utils

2. 校验服务端共享目录（判断网络是否通）
showmount -e xx.xx.xx.xx   # xx.xx.xx.xx为服务端IP，有返回信息说明成功

3. 挂载共享目录
 mount xx.xx.xx.xx:/data /opt/metersphere/data  #xx.xx.xx.xx 服务端ip.

4. 至此直接在客户端或者服务端创建文件，看是否有同步即可。

注意：两个部署MeterSphere的节点都需要搭建。

六、验证

访问nginx节点,可以正常显示

因为使用nginx负载均衡，所以停掉一个服务，再进行访问。

七、注意事项

在安装MySQL的时候，有特别注意的地方需要仔细看下。
搭建双节点的MeterSphere应用所连接的中间件（kafka，redis，minio等）都需要连接同一个。
v1和v2.3以前的版本需要NFS，v2.3开始使用MinIO对象存储，已经不再需要NFS了，但从v2.3以前版本升级上来的因为历史数据的原因还需要NFS。
如果需要保证相关中间件的可用性，可以自行独立部署。
以上就是完整的MeterSphere双活架构的部署流程，如有问题，欢迎留言。