### 1、前言

现在市面上同步Mysql的插件都是依赖BinLog日志同步的，所以在这之前，我们需要先学习下，如何开启，查看BinLog状态。

查看状态
进入mysql命令行（不是shell），执行以下命令：
`show variables like "%bin%";`
查看日志是否打开，`log_bin`为`OFF`说明未开启。
![](https://vpsbm.com/public/upload/20190809143602_686.png)

修改状态
回到shell命令行界面，执行以下命令：
`vim /etc/my.cnf`;
然后在`[mysqld]`下面一行加入以下配置
```
server-id=1
log-bin = /var/lib/mysql/mysql-bin
binlog_format = ROW
expire_logs_days = 30
```
这里的`server_id`需要注意，我这里写大点，防止跟其他客户端id冲突了
最后按下`ESC`键，输入`:wq`保存退出。

重启mysql服务
`systemctl restart mysql.service`

然后再使用mysql命令查看下状态是否启动成功了。

最后我们再来创建一个账号，准备授权 `canal` 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接跳过这一步，但不建议使用 `root` 账号。

```
mysql -u root
use mysql;
CREATE USER canal IDENTIFIED BY 'canal';
update user set password=password('canal') where user= 'canal';
update user set password=password('root') where user= 'root';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'localhost';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'127.0.0.1';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'root'@'localhost';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'root'@'127.0.0.1';
FLUSH PRIVILEGES;
exit;
```

### 2、安装canal插件

拉取最新可用安装包
`wget https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz`

解压安装
```
mkdir /tmp/canal
tar zxvf canal.deployer-1.1.3.tar.gz  -C /tmp/canal
cd /tmp/canal
```

修改配置
`vim conf/example/instance.properties`
在`canal.instance.connectionCharset = UTF-8`这一行上方插入一行，代表你需要同步的默认数据库
`canal.instance.defaultDatabaseName = test`
然后按下`ESC`键，输入`:wq`保存退出。

`vim conf/canal.properties`
找到`canal.instance.tsdb.spring.xml=classpath:spring/tsdb/h2-tsdb.xml`屏蔽掉，
然后找到`canal.instance.parser.parallelThreadSize = 16`开启来，
然后按下`ESC`键，输入`:wq`保存退出。

启动脚本：
`sh bin/startup.sh`

关闭脚本：
`sh bin/stop.sh`

### 3、配置服务端，同步ES

下载安装Tomcat9.0
`wget 地址还没给`
`tar -zxvf apache-tomcat-9.0.16.tar.gz`
`mv apache-tomcat-9.0.16 /usr/local/tomcat`
`./usr/local/tomcat/bin/startup.sh`

拉取最新可用安装包
`wget https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.adapter-1.1.3.tar.gz`

解压并安装
`tar xzvf canal.adapter-1.1.3.tar.gz`

修改配置文件
`vim conf/application.yml`
为如下内容，直接覆盖原来的
```
server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null

canal.conf:
  canalServerHost: 127.0.0.1:11111
  batchSize: 500
  syncBatchSize: 1000
  retries: 0
  timeout:
  mode: tcp 
  srcDataSources:
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true
      username: root
      password: root
  canalAdapters:
  - instance: example 
    groups:
    - groupId: g1
      outerAdapters:
      - name: es
        hosts: 127.0.0.1:9300
        properties:
          cluster.name: elasticsearch
```
然后按下`ESC`键，输入`:wq`保存退出。
(里面的`test`是表示我们的数据库名称)
(之所以用`9300`的端口，是因为这端口是用于tcp数据同步的，`9200`是用于http-api调用的，不要搞混了)

然后修改同步文件
`vim conf/es/mytest_user.yml`
为以下内容，主要是修改了SQL语句，为我们的测试语句
```
dataSourceKey: defaultDS
destination: example
groupId: g1
esMapping:
  _index: demo
  _type: demo2
  _id: _id
  upsert: true
#  pk: id
  sql: "select a.id as _id, a.name, a.age from demo a"
#  objFields:
#    _labels: array:;
#  etlCondition: "where a.c_time>='{0}'"
  commitBatch: 3000
```
然后按下`ESC`键，输入`:wq`保存退出。
SQL怎么写，可以参考官方文档：
`https://github.com/alibaba/canal/wiki/Sync-ES`
（注意1，这个目录下的一个文件代表一个数据表，如果你需要同步多个数据表，这需要copy修改成多个对应的同步文件才行）
（注意2，`_index`跟`_type`参数需要隔外注意，要跟我们新建索引时的一样，否则同步会失败，也不会有错误日志出现。）
（注意3，很多时候我们的数据表都喜欢有一个`id`名做主键的字段，在es同步中，如果我们直接将这个字段同步是会报`Outer adapter sync failed! Error sync but ACK!`错误的，正确的方法是将`_id`设置为`_id`，然后在sql中将字段别名为`a.id as _id`。）

最后启动脚本，同步数据库即可
`bin/startup.sh`

还有一点很重要，canal是不会同步表结构的，所以你需要手动在Elasticsearch中创建对应的表索引才行。

已有0条评论

添加新评论☺

如果认为本文对您有所帮助请赞助本站

支付宝扫一扫赞助

已有0条评论

添加新评论☺