MyCat主从数据库集群搭建

2023-09-22 14:26:00

1 背景

      最近工作需要对比几种数据库技术方案，主从读写分离集群也是其中之一。接着上一篇文章《MySQL主从数据库搭建》基础上继续搭建MyCat主从集群。

2 MyCat

      什么是MyCat?MyCat是数据库中间件，就是介于数据库和应用之间，进行数据处理与交互的中间服务。可以对数据进行分片处理，从原有一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。
在这里插入图片描述
      如上图所示，数据被分到多个分片数据库后，应用如果需要读取数据，就需要处理多个数据源的数据。如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会花大量的工作来处理分片的问题，最重要的是每个应用 处理将是完全的重复造轮子。
      所以有了数据库中间件，应用只需要集中于业务处理，大量的通用的数据聚合，事务，数据源切换都有中间件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。
      MyCat可以做主从也可以做分库分表，本文主要记录主从集群搭建方式。

2.1 部署架构

      目前我的虚拟机环境已有docker环境，MySQL主从集群环境，已经制作了MyCat镜像，并且虚拟出来1个MyCat服务实例。
在这里插入图片描述

2.2 配置文件

      配置主从数据库集群最重要的就是修改schema.xml文件

2.3.1 schema.xml

      这是我这边的测试配置，可以根据具体情况适当修改。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1" dataNode="dn1">
            <table name="test_table_1" primaryKey="id" autoIncrement="false" dataNode="dn1" />
            <table name="test_table_2" primaryKey="id" autoIncrement="false" dataNode="dn1" />
            <table name="test_table_3" primaryKey="id" autoIncrement="false" dataNode="dn1" />
        </schema>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />

        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>

                <writeHost host="master1" url="jdbc:mysql://172.16.17.231:3306?characterEncoding=utf8" user="root" password="123456">
                    <readHost host="slave1" url="jdbc:mysql://172.16.17.232:3306?characterEncoding=utf8" user="root" password="123456" />
                </writeHost>
        </dataHost>
</mycat:schema>

      这里我解释一下上述配置文件中出现标签的含义。
1 schema 标签 schema标签用于定义MyCat实例中的逻辑库，MyCat可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用schema标签来划分这些逻辑库。如果不配置schema标签，所有的表配置，会属于同一个默认的逻辑库。

属性名值数量限制含义
dataNode任意String(0…1)用于绑定逻辑库到具体的database上
checkSQLschemaBoolean(1)用于移除SQL语句中表示schema的字符去掉
sqlMaxLimitInteger(1)用于限制SQL查询记录的条数

2 table标签 table标签定义了MyCat中的逻辑表，所有需要拆分的表都需要在这个标签中定义。

属性名值数量限制含义
nameString(1)用于定义逻辑表的表名
dataNodeString(1…*)用于定义这个逻辑表所属的dataNode，该属性的值需要和dataNode标签中name属性的值相互对应
ruleString(0…1)用于指定逻辑表需要使用的规则名字，规则名字在rule.xml中定义，必须与tableRule标签中name属性的属性值一一对应。
ruleRequiredboolean(0…1)该属性用于指定表是否绑定分片规则，如果配置为true，但没有配置具体rule的话，程序会报错。
primaryKeyString(1)用于逻辑表对应真实表的主键
typeString(0…1)该属性定义了逻辑表的类型，目前逻辑表只有“全局表”和“普通表”两种类型
autoIncrementboolean(0…1)用于指定这个表使用自增长主键，这样MyCat才会不抛出分片键找不到的异常
subTablesString(1)
needAddLimitboolean(0…1)指定表是否需要自动在每个语句后面加上limit限制

3 dataNode标签 dataNode标签定义了MyCat中的数据节点，也就是通常说的数据分片。

属性名值数量限制含义
nameString(1)用于定义数据节点的名字，这个名字需要是唯一的，用来建立表和分片的对应关系
dataHostString(1)用于定义该分片属于哪个数据库实例
databaseString(1)用于定义该分片属性哪个具体数据库实例上的具体库

4 dataHost标签 该标签在MyCat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

属性名值数量限制含义
nameString(1)唯一标识dataHost标签，供上层的标签使用
maxConInteger(1)指定每个读写实例连接池的最大连接
minConInteger(1)指定每个读写实例连接池的最小连接，初始化连接池的大小
balanceInteger(1)负载均衡类型，0：不开启读写分离机制，所有读操作都发送到当前可用的writeHost上；1：全部的readHost与stand by writeHost参与select语句负载均衡，简单的说，当双主双从模式（M1->S1,M2-S2，并且M1与M2互为主备），正常情况下，M2,S1,S2都参与select语句的负载均衡；2：所有读操作都随机的在writeHost、readHost上分发；3：所有读请求随机的分发到writeHost对应的readHost执行，writeHost不负担读压力，注意balance=3只在1.4及其以后版本有，1.3没有
writeTypeInteger(1)负载均衡类型，0：所有写操作发送到配置的第一个writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后为准，切换记录在配置文件中：dnindex.properties；1：所有写操作都随机的发送到配置的writeHost，1.5以后废弃不推荐
dbTypeString(1)指定后端连接的数据库类型，目前支持二进制的mysql协议，还有其他使用JDBC连接的数据库。例如：MongoDB、Oracle、Spark等
dbDriverString(1)指定连接后端数据库使用的Driver，目前可选的值有native和jdbc
switchTypeInteger(1)-1：表示不自动切换；1：默认值，自动切换；2：基于MySQL主从同步状态决定是否切换；基于MySQL galary cluster的切换机制（适合集群）（1.4.1）

2.3.2 server.xml

      server.xml中的标签本就不多，这里就不再一一列举了。

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
        - you may not use this file except in compliance with the License. - You 
        may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
        - - Unless required by applicable law or agreed to in writing, software - 
        distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
        WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
        License for the specific language governing permissions and - limitations 
        under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <system>
        <property name="charset">utf8mb4</property>
        <property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
        <property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文，返回ok报文。
        在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
        <property name="useHandshakeV10">1</property>
    <property name="removeGraveAccent">1</property>
        <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
        <property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
                <property name="sequenceHandlerType">1</property>
        <!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
        INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");
        -->
        <!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
        <property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
        <property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
        <property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
        <!-- <property name="processorBufferChunk">40960</property> -->
        <!-- 
        <property name="processors">1</property> 
        <property name="processorExecutor">32</property> 
         -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
                <property name="processorBufferPoolType">0</property>
                <!--默认是65535 64K 用于sql解析时最大文本长度 -->
                <!--<property name="maxStringLiteralLength">65535</property>-->
                <!--<property name="sequenceHandlerType">0</property>-->
                <!--<property name="backSocketNoDelay">1</property>-->
                <!--<property name="frontSocketNoDelay">1</property>-->
                <!--<property name="processorExecutor">16</property>-->
                <!--
                        <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
                        <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
                        <property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
                        <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
                <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
                <property name="handleDistributedTransactions">0</property>

                        <!--
                        off heap for merge/order/group/limit      1开启   0关闭
                -->
                <property name="useOffHeapForMerge">0</property>

                <!--
                        单位为m
                -->
        <property name="memoryPageSize">64k</property>

                <!--
                        单位为k
                -->
                <property name="spillsFileBufferSize">1k</property>

                <property name="useStreamOutput">0</property>

                <!--
                        单位为m
                -->
                <property name="systemReserveMemorySize">384m</property>


                <!--是否采用zookeeper协调切换  -->
                <property name="useZKSwitch">false</property>

                <!-- XA Recovery Log日志路径 -->
                <!--<property name="XARecoveryLogBaseDir">./</property>-->

                <!-- XA Recovery Log日志名称 -->
                <!--<property name="XARecoveryLogBaseName">tmlog</property>-->
                <!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
                <property name="strictTxIsolation">false</property>
                <!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
                <property name="parallExecute">0</property>
        </system>

        <!-- 全局SQL防火墙设置 -->
        <!--白名单可以使用通配符%或着*-->
        <!--例如<host host="127.0.0.*" user="root"/>-->
        <!--例如<host host="127.0.*" user="root"/>-->
        <!--例如<host host="127.*" user="root"/>-->
        <!--例如<host host="1*7.*" user="root"/>-->
        <!--这些配置情况下对于127.0.0.1都能以root账户登录-->
        <!--
        <firewall>
           <whitehost>
              <host host="1*7.0.0.*" user="root"/>
           </whitehost>
       <blacklist check="false">
       </blacklist>
        </firewall>
        -->

        <user name="root" defaultAccount="true">
                <property name="password">123456</property>
                <property name="schemas">TESTDB</property>
                <property name="defaultSchema">TESTDB</property>
                <!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->

                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
                <property name="defaultSchema">TESTDB</property>
        </user>

</mycat:server>

3 测试

      完成上述配置，重启MyCat，通过应用程序或者数据库客户端来验证一下是否生效。

docker restart mycat
更多推荐

IP归属地应用的几个主要特点

作为一款优秀的IP地址定位工具，主题IP归属地的应用无疑是最好的选择之一。该应用可以将您需要查询的IP地址快速定位到所在的具体物理位置，并提供详细的地址和地图信息。接下来，让我们一起来看一看IP归属地应用的几个主要特点：1.快速查询IP地址归属地主题IP归属地应用的查询速度非常快，您只需要输入需要查询的IP地址点击“查

微软宣布推广数字助理 Copilot；GPT 应用开发和思考

🦉AI新闻🚀微软宣布推广基于生成式人工智能的数字助理Copilot摘要：微软宣布将基于生成式人工智能的数字助理Copilot推广到更多软件产品中。新的AI助理MicrosoftCopilot将在Windows中无缝可用，包括Windows11桌面、Microsoft365、Outlook、Edge浏览器和必应。它能

【Linux网络编程】序列化与反序列化

我们网络收发数据实际上只能接收到字符串，但是在现实生活中描述一个客观物体都是以很多属性来描述的，所以在网络中结构体类型的数据更常见，那我们如何发送结构体数据呢？这里就涉及到协议的概念了。我们想象一个场景，在特种兵执行任务时，他们有特定的战术手语，这样他们就能根据手语进行相应的战术配合了。所以协议也是一样，客户端和服务器

【计算机网络】IP协议

文章目录TCP与IP之间的关系IP地址的认识协议报头格式1.报头和有效载荷如何分离？2.8位协议3.4位版本4.8位服务类型5.16位总长度6.8位生存时间TTL网段划分IP地址的划分子网划分CIDR的提出如何理解CIDRTCP与IP之间的关系如：假设你上高中时，班里有个同学叫张三，他的老爹是学校的校长你感觉每次考试都

微前端qiankun简易上手指南

微前端架构一、什么是微前端架构微前端是一种多个团队通过独立发布功能的方式来共同构建现代化web应用的技术手段及方法策略。微前端借鉴了微服务的架构理念，将一个庞大的前端应用才分为多个独立灵活的小型应用，每个应用都可以独立开发，独立运行，独立部署，再将这些小型应用联合为一个完整的应用。微前端既可以将多个项目融合为一，又可以

Pixea Plus for Mac：极简图片浏览，高效图片管理

在处理和浏览图片时，我们往往需要一个得心应手的工具，尤其是当你的图片库包含了各种不同格式，例如JPEG、HEIC、psd、RAW、WEBP、PNG、GIF等等。今天，我们要推荐的，就是一款极简、高效的Mac图片浏览和管理工具——PixeaPlus。PixeaPlusMac版是一款专为Mac用户设计的图片浏览器和管理工具

【Linux】自动化构建工具 —— make/makefile&&Linux第一个小程序 - 进度条

​​📝个人主页：@Sherry的成长之路🏠学习社区：Sherry的成长之路（个人社区）📖专栏链接：Linux🎯长路漫漫浩浩，万事皆有期待上一篇博客：Linux编译器gcc/g++的使用&&初识动静态链接库文章目录一、前言二、概念三、代码实现四、实现原理1、依赖关系和依赖方法2、清理①.PHONY伪目标②.PHO

ZABBIX 6.4安装部署

ZABBIX6.4安装部署zabbix的主要组成：1、ZabbixServer6.4：Zabbix服务端，是Zabbix的核心组件。它负责接收监控数据并触发告警，还负责将监控数据持久化到数据库中。2、ZabbixAgent：Zabbix客户端，部署在被监控设备上，负责采集监控数据，采集后的数据发送给ZabbixServ

林木种苗生产vr虚拟实训教学降低培训等待周期

林业种植管理在保护水土流失、气候变化及经济社会发展中发挥重要的作用，林业教学往往需要进入林区进行实操察验，在安全性、时间及效率上难以把控，因此有更多林业畜牧院校创新性地引进VR虚拟现实技术。在林业领域，实地调查是获取准确数据和深入了解森林生态的重要手段。然而，传统的实地调查方法存在诸多问题，如时间成本高、人力物力投入大

每天一个面试题之类加载机制、spirngboot的启动机制

jvm类加载机制Java虚拟机（JVM）的类加载机制是Java的关键部分，它负责加载、链接和初始化类。类加载机制的主要任务是将Java类的字节码文件转换为可以在JVM上执行的运行时数据结构。这个过程包括以下三个主要步骤：加载（Loading）：在此阶段，类加载器负责查找并加载类的字节码文件。这个过程通常从类路径（Cla

搭建私人图床结合内网穿透实现公网访问，让您的摄影作品连接世界

文章目录1.树洞外链网站搭建1.1下载安装树洞外链1.2树洞外链网页测试1.3cpolar的安装和注册2.本地网页发布2.1Cpolar临时数据隧道2.2Cpolar稳定隧道（云端设置）2.3Cpolar稳定隧道（本地设置）3.公网访问测试社交平台具有庞大的用户基础和活跃的社交功能，我们将图片发布到社交平台可以让照片更

热文推荐
  1. 安装torch113、cuda116并运行demo【Transformer】

    文章目录01.导读02.显卡驱动版本03.创建环境、下载安装必要包04.运行参考代码：01.导读安装torch113、cuda116并运行demo【Transformer】02.显卡驱动版本C:\Users\Administrator>nvidia-smi-l10WedSep1323:35:082023±-------

  2. Docker 原理

    基础技术试验进程linuxnamespaceMount(mnt)namespace可以在不影响宿主机文件系统的基础上挂载或者取消挂载文件系统了；PID(ProcessID)在一个pidnamespace中，第一个进程的pid为1，所有在此namespace中的其他进程都是此进程的子进程，操作系统级别的其他进程不需要在此

  3. kruskal重构树

    Kruskal重构树第二次学了。大致思路就是在最小生成树加边的时候，把每条边也设一个点，和他连着的两个点连边。由于最小生成树的贪心，感觉很像哈夫曼树，有性质是经过的边的长度（已经转化为点权）越向上越大/越小，取决于生成树的排序。那就可以通过倍增找不经过长度超过x的边所能走到的所有点，实际上是一直往上跳的那个子树。for

  4. 红海云签约科百特，“膜界”小巨人人力资源数字化转型全面提速

    杭州科百特过滤器材有限公司（以下简称“科百特”）是全球优秀的创新过滤企业，专注于纳米膜材料的开发和应用，致力于为全球集成电路制造和生物制药产业提供创新的过滤纯化解决方案。近日，科百特与广州红海云计算股份有限公司达成战略合作。红海云作为一家技术驱动的专业型厂商，基于深厚的人力资源管理专业积累和前沿的数字技术，成功打造了众

  5. Linux CentOS7系统运行级别

    运行级别就是Linux操作系统当前正在运行的功能级别。在早期系统设置中，共设有七个运行级别，编号从0到6。系统可以引导到任何给定的运行级别。每个运行级别指定不同的系统配置，并允许访问不同的进程组合。默认情况下，Linux会引导至运行级别3或运行级别5。启动时一次只执行一个运行级别，它不会一个接一个地执行。在SysVin

  6. Buffer Pool

    一.BufferPool的含义BufferPool：缓冲池，简称BP，其作用是用来缓存表数据与索引数据，减少磁盘IO操作，提升效率。当Mysql执行查询的sql语句的时候，会先去缓存当中看是否有对应的数据，如果有则直接读内存，如果没有则去磁盘里拿，然后把数据放到BufferPool里拿，来提高查询速度。BufferPo

  7. Unity减少发布打包文件的体积——获取精灵图片的信息限制它的大小

    一、起因一个工程，打包成webGL且压缩成zip文件后，接近400M，后来把大的精灵图片设置最大尺寸，降低大小后，再次发布，zip文件缩减到250M二、如何一键获得工程里面的精灵图片信息三、获取精灵图片信息1、查找项目中的所有精灵图片//查找工程文件中的所有精灵图片string[]guids=AssetDatabase

  8. 2023年中秋·国庆节放假通知

    放假期间如有业务、技术及其他相关需求，欢迎新老客户前来咨询！放假期间如给您带来不便敬请谅解!注意事项1、放假离开公司前须全面清扫所属办公区域的卫生，收拾好桌面、保管好个人办公物品；2、关闭个人电脑等办公设备的电源，切断用电设备的插座电源开关，锁好门窗防雨，做好防火防盗工作；3、节日期间重点安全部门，如仓库，要加强对仓库

  9. 【计算机网络】网络编程接口 Socket API 解读（5）

    Socket是网络协议栈暴露给编程人员的API，相比复杂的计算机网络协议，API对关键操作和配置数据进行了抽象，简化了程序编程。本文讲述的socket内容源自Linuxman。本文主要对各API进行详细介绍，从而更好的理解socket编程。connectconnect()遵循POSIX.1-20081.库标准c库，li