数据迁移方式&工具总结
kettel的使用
1、中文网：http://www.kettle.org.cn/
2、下载地址
3、使用kettle进行数据迁移
3.1 打开文件夹，运行spoon.bat
3.2 点击文件，新建转换
3.3 新建数据库连接，一个为源数据库，另一个为目的数据库
3.4 建立表输入和表输出（表输入为源数据表，表输出为要写入的表）
3.5 点击运行转换，即可进行数据迁移
注：运行过程中出现问题可查看下方控制台中的日志。
dataX的使用
1、datax下载
相关文档：https://developer.aliyun.com/article/59373
github地址：https://github.com/alibaba/DataX.git
安装包快速下载：https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz
# 解压安装包至Linux目录
tar -zxvf datax.tar.gz -C /usr/local/
2、使用dataX进行增量同步
# 进入job目录下
cd job
vim trans.job
# 文件内容如下
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "pass",
"column": [
"*" #表示进行所有字段的同步
],
"where": "order_date = '${order_date}' and com_code in ('103','104','205','176','178','118')", #定义同步的数据条件
"connection": [
{
"jdbcUrl": [
"jdbc:mysql://10.106.17*..2*5:3306/my_db?useUnicode=true&characterEncoding=utf8"
],
"table": [
"my_order" #数据源表
]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": [
"*"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://10.106.2*5.6*:3306/my_db?useUnicode=true&characterEncoding=utf8",
"table": [
"my_order"
]
}
],
"password": "pass",
"username": "root",
"writeMode": "replace"
}
}
}
],
"setting": {
"speed": {
"channel": "5"
}
}
}
}
执行一次同步，就会将where条件查询出来的数据同步到目标表中，注意参数的传递${order_date}
python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans.json -p "-Dorder_date=$order_date"
以上为使用dataX进行增量同步的简单描述，如果每日都需要根据日志进行增量同步，可以添加Linux定时任务完成。
vim my_trans.sh
#!/bin/bash
. /etc/profile #定时任务若初始执行不成功，可以添加此行
order_date="$(date +%Y-%m-%d)"
cd /usr/local/datax/log
logfile=datax_$order_date.log
# 同步测试数据
nohup python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans.json -p "-Dorder_date=$order_date" >> $logfile
nohup python /usr/local/datax/bin/datax.py /usr/local/datax/job/trans2.json -p "-Dorder_date=$order_date" >> $logfile
注：Linux定时任务五个*的意思，从左到右分别是[分钟，小时，几号，月份，星期几]
比如，每天8点38分执行一次同步
38 8 * * * /bin/bash /usr/local/datax/job/my_trans.sh
pt-archiver的使用
1、安装下载
下载地址：https://www.percona.com/downloads
# 安装相关
tar xvf percona-toolkit-3.3.1_x86_64.tar.gz
cd percona-toolkit-3.3.1
yum install perl-ExtUtils-MakeMaker perl-DBD-MySQL perl-Digest-MD5
perl Makefile.PL
make
make install
2、进行数据归档
pt-archiver --source h=192.168.253.128,P=3306,u=root,p=VWVqlLvS4kfONYRG,D=my_slaughter_logistics,t=my_city --dest h=192.168.253.129,P=3306,u=test,p=VWVqlLvS4kfONYRG,D=my_slaughter_logistics,t=my_city --where "1=1"
执行完之后会发现，源数据表已被清空，因为使用pt-archiver进行同步的步骤如下：
（1）源库查询记录。
（2）目标库插入记录。
（3）源库删除记录。
（4）目标库 COMMIT。
（5）源库 COMMIT。
当进行大表归档的时候，可以采用批量归档的方式，需要增加以下几个参数：
–bulk-delete：批量删除。
–limit：每批归档的记录数。
–commit-each：对于每一批记录，只会 COMMIT 一次。
–bulk-insert：归档数据以 LOAD DATA INFILE 的方式导入到归档库中。
