`
whitesock
  • 浏览: 477755 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

MySQL Open Replicator

阅读更多

Open Replicator ( http://code.google.com/p/open-replicator/ ) 开源了。Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL(就像一个普通的MySQL Slave一样),然后接收和分析binlog,最终将分析得出的binlog events以回调的方式通知应用。Open Replicator可以被应用到MySQL数据变化的实时推送,多Master到单Slave的数据同步等多种应用场景。目前的这个最初版本,是笔者用 了大概两周的业余时间开发的。在程序结构上,最主要的设计原则是高性能,低内存占用。Open Replicator目前只支持MySQL5.0及以上版本。

 

  • 大小: 69.2 KB
13
6
分享到:
评论
34 楼 welyss 2014-08-02  
楼主代码好专业,试用中,感觉还不错,另看源码的时候,发现db的连接好像没用jdbc,好像是NIO直接访问的,楞是没看懂。。。。。能推荐点资料学习下吗,特别是在请求中output的信息,网上找了半天没找到相关资料,不知道mysql官方资料里有没,内容太多,还在慢慢爬文中
33 楼 whitesock 2013-07-09  
谢谢,我会抽空调查一下。
agapple 写道
scarcer7 写道
master版本5.6的时候,会出现下列错误
引用
Slave can not handle replication events with the checksum that master is configured to log


我上网查了一下,这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外,open replicator本身有没有办法设置这个呢?


试用下https://github.com/alibaba/canal,已经支持mysql5.6协议,支持crc校验,支持新的时间格式和一些其他变化。

mysql5.6协议变化,https://github.com/alibaba/canal/wiki/BinlogChange%28mysql5.6%29

32 楼 agapple 2013-07-08  
scarcer7 写道
master版本5.6的时候,会出现下列错误
引用
Slave can not handle replication events with the checksum that master is configured to log


我上网查了一下,这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外,open replicator本身有没有办法设置这个呢?


试用下https://github.com/alibaba/canal,已经支持mysql5.6协议,支持crc校验,支持新的时间格式和一些其他变化。

mysql5.6协议变化,https://github.com/alibaba/canal/wiki/BinlogChange%28mysql5.6%29
31 楼 whitesock 2013-07-04  
For MySQL 5.6.6 users, binlog_checksum system variable is NOT supported by open-replicator at the moment, please set it to NONE.

scarcer7 写道
master版本5.6的时候,会出现下列错误
引用
Slave can not handle replication events with the checksum that master is configured to log


我上网查了一下,这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外,open replicator本身有没有办法设置这个呢?

30 楼 scarcer7 2013-07-04  
master版本5.6的时候,会出现下列错误
引用
Slave can not handle replication events with the checksum that master is configured to log


我上网查了一下,这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外,open replicator本身有没有办法设置这个呢?
29 楼 whitesock 2013-06-25  
scarcer7 写道
请问,是否已经有生产环境的应用案例了?如果有,不知道能否方便告知数量?

据我所知,除了我们自用之外,线上有2,3个实例的部署。
28 楼 scarcer7 2013-06-25  
请问,是否已经有生产环境的应用案例了?如果有,不知道能否方便告知数量?
27 楼 whitesock 2013-06-13  
OpenReplicator并不处理字符集,需要应用自己处理。
scarcer7 写道
请问,怎么设定字符集呢?
我调用setEncoding方法设置字符集为GBK,但访问GBK的数据库仍然得到乱码。。。

26 楼 scarcer7 2013-06-13  
请问,怎么设定字符集呢?
我调用setEncoding方法设置字符集为GBK,但访问GBK的数据库仍然得到乱码。。。
25 楼 soartju 2013-06-09  
有没有程序例子?另外这个工具稳定性怎么样,有没有在生产环境中使用过?
24 楼 agapple 2013-02-20  
whitesock 写道
关于你所说的穿插的情况,有具体的binlog可以发给我吗,我测试一下。

wangwei3 写道
请问,如何将所接收的event按transaction划分?
例如,插入一条记录(id自增),event顺序应该是Query(Begin)、IntvarEvent(id)、Query(Insert)、XidEvent,但是当多进程同时插入的时候,接收到的结果就是穿插着的了,应该如何判断哪些event是同一个transaction提交的呢?
还有IntvarEvent除了nextPosition找到Query(Insert)外,还有其它方式么?



mysql binlog都是以完整事务提交的,不会出现事务穿插
23 楼 agapple 2013-02-20  
看到了一个国内类似的产品,我最近也open了一个mysql binlog解析的project,可以一起交流下,基于mysql数据库binlog的增量订阅&消费:http://www.iteye.com/topic/1129002
22 楼 siyuan 2012-11-20  
其实MySQL的JDBC驱动包含了socket部分,可以尝试直接使用
21 楼 whitesock 2012-10-09  
没什么太好的文档,尝试看看mysql源码吧。

savior112 写道
whitesock 写道
通常出现这种情况都是master侧的非正常操作。

savior112 写道
siyuan 写道
现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况,是master端切换binlog文件的时候,就会报ErrorPacket/EOFPacket的问题,有什么需要特殊配置的吗?


应该没有吧,mysql自带的slave工作正常的,还有问下能不能给份mysqlreplication的协议文档,我百度和mysql的官网上没找到 我的邮箱5668181@qq.com谢谢

20 楼 savior112 2012-10-08  
whitesock 写道
通常出现这种情况都是master侧的非正常操作。

savior112 写道
siyuan 写道
现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况,是master端切换binlog文件的时候,就会报ErrorPacket/EOFPacket的问题,有什么需要特殊配置的吗?


应该没有吧,mysql自带的slave工作正常的,还有问下能不能给份mysqlreplication的协议文档,我百度和mysql的官网上没找到 我的邮箱5668181@qq.com谢谢
19 楼 whitesock 2012-10-08  
通常出现这种情况都是master侧的非正常操作。

savior112 写道
siyuan 写道
现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况,是master端切换binlog文件的时候,就会报ErrorPacket/EOFPacket的问题,有什么需要特殊配置的吗?

18 楼 savior112 2012-10-08  
siyuan 写道
现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况,是master端切换binlog文件的时候,就会报ErrorPacket/EOFPacket的问题,有什么需要特殊配置的吗?
17 楼 siyuan 2012-09-28  
发现一个现象,serverId设置不同会导致不一样的出错率
16 楼 siyuan 2012-09-28  
可能是我搞错了,因为OpenReplicator经常会自动断开,主要是遇到ErrorPacket/EOFPacket的问题,目前通过重载OpenReplicator的自动重连机制来处理
    private boolean autoRestart = false;

    @Override
    public void stopQuietly(long timeout, TimeUnit unit) {
        super.stopQuietly(timeout, unit);
        if(autoRestart){
            try {
                TimeUnit.SECONDS.sleep(10);
                start();
            } catch (InterruptedException ignored) {
            } catch (Exception ignored) {
            }
        }
    }
15 楼 whitesock 2012-09-28  
siyuan 写道
现在的OpenReplicator好像不会自动切换到下一个binlog哦

发一下你的配置信息。

相关推荐

Global site tag (gtag.js) - Google Analytics