缓存同步的常见方式

  • 设置有效期
    • 给缓存社会有效期,到期删除,再来查询,就查数据库,在放入缓存
  • 同步双写
    • 修改DB时,同步修改DB
  • 异步通知
    • 修改DB时,发送事件通知
    • 比如:MQ、Canal

上面场景,只要不傻都知道。各有优势,我就不说了,本文介绍Canal

什么是Canal 需要JDK

Canal主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费

Cnanl地址:https://github.com/alibaba/canal

Canal原理

利用Mysql主从同步机制来实现的。

  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
  • MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据

canal 工作原理

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

Canal 伪装成slave节点,监听master binary log的变化。将此信息发送到Canal客户端中。就完成了异步通知了!

修改Mysql配置

修改mysql配置,配置文件一般就是my.cnf中,不管是啥,只要是[mysqld]就行了

[mysqld]
# 这是指定服务编号,我怕你重启报错,建议加上吧!
server-id= 1
# 指定binlog日志名称,傻逼mysql有些文件夹不允许随便指定,error.log说了没文件,创建了文件也不行,去他妈的!
log-bin=/var/log/mysql/mysql-bin.log
# 指定mysql的binlog日志记录哪个db
binlog-do-db=hello,mysql
binlog-format=ROW # 选择 ROW 模式

重启mysql

systemctl restart mysql

确定重启成功了

systemctl restart mysql

给Canal创建一个配置用户,用于管理,最好限制操作库的权限 参考:https://www.zanglikun.com/4473.html

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT all privileges ON *.* TO 'canal'@'%';
-- 如果你root没有系统用户则不可用使用授权命令 添加身份:grant system_user on *.* to 'root';
-- 不知道是不是有啥问题,反正得要配置一下这个
update `mysql`.`user` SET `plugin` ='mysql_native_password' where User = 'canal';
flush privileges;


Drop User 'canal'@'%';
select Host,User from mysql.user;

查看主从状态

-- 查看主从状态
SHOW MASTER STATUS;

安装Canal

下载:https://github.com/alibaba/canal/releases/tag/canal-1.1.6

建议看官方教程:https://github.com/alibaba/canal/wiki/QuickStart

添加一些配置文件

conf/canal.properties

# tcp bind ip
canal.ip =192.168.31.19

example/instance.properties

## mysql serverId , v1.0.26+ will autoGen 这里说了1.0.26 就不用配置了
# canal.instance.mysql.slaveId=0

# position info
canal.instance.master.address=127.0.0.1:3306
# 配置主从在用的binlog文件名 由执行show master status;得到
canal.instance.master.journal.name=mysql-bin.000006
canal.instance.master.position=157
canal.instance.master.timestamp=
canal.instance.master.gtid=

# username/password 我们刚才创建的就是canal,密码也是
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8

我当前是Ubuntu,安装JDK8

apt install openjdk-8-jdk

禁用防火墙

systemctl stop firewalld.service


systemctl status firewalld.service 

启动Canal

文件需要执行的权限
./startup.sh

启动完成后,看一下端口是否被占用

lsof -i:11111

如果被占用,说明启动成功!

最好看一下控制台

cat /你的Canal安装路径/logs/canal/canal.log

springboot接入 canal

本次使用是这个:https://github.com/NormanGyllenhaal/canal-client 有其他java库,自行寻找其他也可使用!

        <dependency>
            <groupId>top.javatool</groupId>
            <artifactId>canal-spring-boot-starter</artifactId>
            <version>1.2.1-RELEASE</version>
        </dependency>

配置文件

# Canal 配置信息
#  多个服务地址以逗号隔开
canal.server=192.168.31.34:11111
#  instance名称
canal.destination=example
# 消费时间间隔,单位秒,默认1
canal.timeout=3

监听User表 增、删、改。

import com.zanglikun.springdataredisdemo.pojo.User;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.annotation.CanalTable;
import top.javatool.canal.client.handler.EntryHandler;

@Slf4j
@Component
@CanalTable("User") // ① 要监听到表
public class CanalTest implements EntryHandler<User> { // ② 实现接口,指定User,主动重写方法

    @Override
    public void insert(User user) {
        EntryHandler.super.insert(user);
        log.info("插入了数据"+user.toString());
    }

    @Override
    public void update(User before, User after) {
        EntryHandler.super.update(before, after);
        log.info("更新前数据"+before.toString());
        log.info("更新后数据"+after.toString());
    }

    @Override
    public void delete(User user) {
        EntryHandler.super.delete(user);
        System.out.println("执行了");
        log.info("删除了"+user.toString());
    }
}

启动即可

日志会打印出变化,我们后期根据User的变化更新相应的缓存数据即可!

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长提供付款信息为您处理

源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认好 是您所需要的资源