您当前的位置:首页 > 电脑百科 > 数据库 > 百科

几个基于CDC实时同步数据的开源组件,让你的数据同步更实时

时间:2023-05-04 14:12:23  来源:今日头条  作者:自学编程之道
数据库CDC是一种非常有用的技术,它能够提供实时性、可靠性、灵活性、高效性和易用性等优势,为企业提供了更好的数据管理和应用价值。接下来就分享几个CDC相关的开源项目。

数据库CDC是指数据库的变更数据捕获(Change Data Capture),它是一种用于捕获数据库中增量更新、插入和删除操作的技术。它通过监视数据库日志或其他方式来识别变更,然后将这些变更转换成易于消费的格式,并传输到消息队列、数据仓库或其他存储设备中。数据库CDC是一种非常有用的技术,它能够提供实时性、可靠性、灵活性、高效性和易用性等优势,为企业提供了更好的数据管理和应用价值。接下来就分享几个CDC相关的开源项目。

Canal

Canal是阿里巴巴开源的一个MySQL数据库增量数据订阅和消费组件,能够将数据库中的增量数据变化捕获并传递给下游的消费方。它的主要原理是通过监视MySQL数据库的binlog日志文件,解析其中的更新、插入、删除操作,并将这些操作转换为可供程序直接使用的数据格式。

Canal的运用场景包括:

  1. 数据同步:Canal可以将一个MySQL数据库中的数据实时同步到另一个MySQL数据库中,从而实现数据复制和数据同步。
  2. 数据分发:Canal可以将一个MySQL数据库中的数据实时地分发到多个消费方中,例如搜索引擎、缓存系统等。
  3. 实时计算:Canal可以将MySQL数据库中的数据实时地发送到流处理系统中进行实时计算和分析,支持实时业务决策和反应。
  4. 数据备份和恢复:Canal可以捕获MySQL数据库中所有的数据变更,以便在需要时进行追溯或恢复。

Canal的工作原理如下:

  1. Canal首先连接到MySQL数据库,启动一个binlog解析器来监控MySQL的binlog日志文件。
  2. 当MySQL数据库中的表发生增删改操作时,这些操作会被记录到binlog日志文件中。
  3. Canal解析binlog日志文件中的数据,将其转换成JSON格式,并将其发送给下游的消费方。
  4. 下游消费方根据自己的需求进行消费,例如将数据同步到其他数据库或者写入搜索引擎中等。

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ,canal 1.1.4版本,迎来最重要的WebUI能力,引入canal-admin工程,支持面向WebUI的canal动态管理能力,支持配置、任务、日志等在线白屏运维能力.

代码地址:https://Github.com/alibaba/canal.git

Maxwell

Maxwell是Zillow Group开源的一个MySQL数据库增量数据订阅和消费组件,能够将MySQL数据库中的增量数据变化捕获并传递给下游的消费方。与Canal类似,Maxwell的主要原理也是通过监视MySQL数据库的binlog日志文件,解析其中的更新、插入、删除操作,并将这些操作转换为可供程序直接使用的数据格式。

Maxwell的运用场景包括:

  1. 数据同步:Maxwell可以将一个MySQL数据库中的数据实时同步到另一个MySQL数据库中,从而实现数据复制和数据同步。
  2. 数据分发:Maxwell可以将一个MySQL数据库中的数据实时地分发到多个消费方中,例如搜索引擎、缓存系统等。
  3. 实时计算:Maxwell可以将MySQL数据库中的数据实时地发送到流处理系统中进行实时计算和分析,支持实时业务决策和反应。
  4. 数据备份和恢复:Maxwell可以捕获MySQL数据库中所有的数据变更,以便在需要时进行追溯或恢复。

Maxwell的工作原理如下:

  1. Maxwell首先连接到MySQL数据库,启动一个binlog解析器来监控MySQL的binlog日志文件。
  2. 当MySQL数据库中的表发生增删改操作时,这些操作会被记录到binlog日志文件中。
  3. Maxwell解析binlog日志文件中的数据,将其转换成JSON格式,并将其发送给下游的消费方。
  4. 下游消费方根据自己的需求进行消费,例如将数据同步到其他数据库或者写入搜索引擎中等。

Maxwell是一个非常实用的MySQL增量数据订阅和消费组件,能够实现数据同步、数据分发、实时计算和数据备份和恢复等功能。与Canal相比,Maxwell的特点是性能更高,支持更多的数据类型和配置方式,同时还提供了更加友好和灵活的API和命令行工具。

代码地址:https://github.com/zendesk/maxwell.git

Debezium

Debezium是一个由Red Hat开源的、分布式的CDC工具,能够从多种数据库中捕获数据变更事件,并将其转换为可消费的消息格式。Debezium支持的数据库包括MySQL、PostgreSQL、Oracle、SQL Server等多种数据库。

Debezium的运用场景包括:

  1. 数据同步:Debezium可以将一个数据库中的数据实时同步到另一个数据库中,从而实现数据复制和数据同步。
  2. 数据集成:Debezium可以将多个数据源中的数据变更整合到一个统一的数据仓库中,方便数据分析和决策。
  3. 实时计算:Debezium可以将数据库中的数据变更实时地发送到流处理系统中进行实时计算和分析,支持实时业务决策和反应。
  4. 数据备份和恢复:Debezium可以捕获数据库中所有的数据变更,以便在需要时进行追溯或恢复。

Debezium的工作原理如下:

  1. Debezium启动一个Connector来监听指定的数据库,并监视其中的变更事件。
  2. 当数据库中的表发生增删改操作时,Connector会将这些变更事件转换成JSON格式,并发送给Kafka等消息队列或者其他存储设备中。
  3. 下游消费方可以从消息队列或存储设备中获取数据变更事件,并根据自己的需求进行消费,例如将数据同步到其他数据库或者写入搜索引擎中等。

Debezium是一个功能强大的CDC工具,能够实现数据同步、数据集成、实时计算和数据备份和恢复等功能。与Canal和Maxwell相比,Debezium的特点是支持多种数据库和多种消息队列,并且提供了更加灵活、可定制的API和配置方式。

代码地址:https://github.com/debezium/debezium.git

Databus

Databus是LinkedIn开源的一个数据总线工具,能够从多种数据源中捕获增量数据,并将其发送到多种存储设备中。Databus支持的数据源包括MySQL、Oracle、Kafka等多种数据源。

Databus的运用场景包括:

  1. 数据同步:Databus可以将一个数据库中的数据实时同步到另一个数据库中,从而实现数据复制和数据同步。
  2. 数据集成:Databus可以将多个数据源中的数据变更整合到一个统一的数据仓库中,方便数据分析和决策。
  3. 实时计算:Databus可以将数据库中的数据变更实时地发送到流处理系统中进行实时计算和分析,支持实时业务决策和反应。
  4. 数据备份和恢复:Databus可以捕获数据库中所有的数据变更,以便在需要时进行追溯或恢复。

Databus的工作原理如下:

  1. Databus启动一个Agent进程来监视指定的数据源,并捕获其中的数据变更事件。
  2. 当数据库中的表发生增删改操作时,Agent会将这些变更事件转换成JSON格式,并发送到kafka等消息队列中。
  3. 下游消费方可以从消息队列中获取数据变更事件,并根据自己的需求进行消费,例如将数据同步到其他数据库或者写入搜索引擎中等。

Databus是一个非常实用的数据总线工具,能够实现数据同步、数据集成、实时计算和数据备份和恢复等功能。与其他CDC工具相比,Databus的特点是支持多种数据源和消息队列,并且提供了更加灵活、可定制的API和配置方式。同时,Databus还具有很高的可靠性和扩展性,适合处理高并发和大规模的数据变更事件。

代码地址:https://github.com/linkedin/databus.git

Flink CDC

Flink CDC是Apache Flink社区开发的一个CDC工具,能够从多种数据源中捕获增量数据,并将其转换为DataStream流处理引擎能够处理的数据格式。Flink CDC支持的数据源包括MySQL、PostgreSQL、Oracle等多种数据库。

Flink CDC的运用场景包括:

  1. 数据同步和备份:Flink CDC可以将一个数据库中的数据实时同步到另一个数据库中,从而实现数据复制和数据同步,并提供高可靠性的数据备份功能。
  2. 实时计算:Flink CDC可以将数据库中的数据变更实时地发送到Flink DataStream流处理引擎中进行实时计算和分析,支持实时业务决策和反应。

Flink CDC的工作原理如下:

  1. Flink CDC启动一个Source Function来监听指定的数据库,并监视其中的变更事件。
  2. 当数据库中的表发生增删改操作时,Source Function会将这些变更事件转换成Flink DataStream中的数据格式,并发送给Flink流处理引擎中。
  3. Flink流处理引擎可以对接收到的数据进行各种实时计算和分析,并将结果写入目标数据存储中。

Flink CDC是一个非常强大的CDC工具,能够实现数据同步、实时计算和数据备份等功能。与其他CDC工具相比,Flink CDC的特点是支持非常广泛的数据源和流处理引擎,同时还提供了更加灵活、可定制的API和配置方式。

代码地址:https://github.com/ververica/flink-cdc-connectors.git

除了以上这些CDC项目外,Pulsar也提供有CDC插件,Pulsar IO CDC是一个Apache Pulsar的插件,用于实时捕获数据库的变更,并将其转化为消息的形式发送到Pulsar集群中。

基于日志的CDC相对来说更加全面、可靠、实时、无业务侵入性,但实现起来比较困难,而基于查询的CDC则更加灵活、易用,但延迟高,有可能会影响到业务,还可能会存在遗漏数据的情况。因此,在选择 CDC 技术时需要根据具体场景和需求来进行选择。



Tags:开源组件   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
数据库CDC是一种非常有用的技术,它能够提供实时性、可靠性、灵活性、高效性和易用性等优势,为企业提供了更好的数据管理和应用价值。接下来就分享几个CDC相关的开源项目。数据...【详细内容】
2023-05-04  Tags: 开源组件  点击:(0)  评论:(0)  加入收藏
本文为高赞 Github 开源项目盘点,且 推荐的开源项目已经收录到 Awesome GitHub Repo,本期推荐 :1. 抖音团队开源的 UI 解决方案2. 一个轻量级 SQLite 可视化工具3. 一个可将Mar...【详细内容】
2022-08-30  Tags: 开源组件  点击:(228)  评论:(0)  加入收藏
好记性不如烂笔头,记录下来的才是永恒!这里是Java实战技术大本营,诚邀关注。本文已收录入GitHub,GitHub搜【wind7rui/JavaHub】。Nacos是什么Nacos是阿里巴巴的开源项目,它提供...【详细内容】
2020-07-10  Tags: 开源组件  点击:(205)  评论:(0)  加入收藏
▌简易百科推荐
数据库CDC是一种非常有用的技术,它能够提供实时性、可靠性、灵活性、高效性和易用性等优势,为企业提供了更好的数据管理和应用价值。接下来就分享几个CDC相关的开源项目。数据...【详细内容】
2023-05-04  自学编程之道  今日头条  Tags:开源组件   点击:(0)  评论:(0)  加入收藏
JSqlParser是一个与RDBMS无关的SQL语句解析器,支持多种方言,例如Oracle、SQL Server、MySQL、MariaDB、PostgreSQL、H2等。JSqlParser将SQL语句转换为Java类的可遍历层次结构,...【详细内容】
2023-04-21  Esgoon  今日头条  Tags:SQL   点击:(13)  评论:(0)  加入收藏
一、 前言导读 TiDB作为NewSQL,其在对MySQL(SQL92协议)的兼容上做了很多,MySQL作为当下使用较广的事务型数据库,在IT界尤其是互联网间使用广泛,那么对于开发人员来说,1)两个数据库产...【详细内容】
2023-04-17    京东云开发者  Tags:SQL   点击:(25)  评论:(0)  加入收藏
Part 01 什么是图形数据库 ​图形数据库是NoSQL数据库的一种类型,起源于欧拉理论和图理论,对应英文名是Graph Database。一种专用于创建和处理图形的专业化单一用途平台,图形...【详细内容】
2023-04-17  移动Labs  微信公众号  Tags:图形数据库   点击:(15)  评论:(0)  加入收藏
单节点模式(Standalone,不推荐用于生产环境)standalone模式即单节点模式,指在服务器上只部署一个 mongod 进程用于读写数据。优点是部署简单,可以快速完成部署,缺点是无容灾。只推...【详细内容】
2023-04-16  路多辛  今日头条  Tags:MongoDB   点击:(25)  评论:(0)  加入收藏
本文给大家总结如何让SQL起飞(优化)一、SQL写法优化在SQL中,很多时候不同的SQL代码能够得出相同结果。从理论上来说,我们认为得到相同结果的不同SQL之间应该有相同的性能,但遗憾...【详细内容】
2023-04-14  wayn111  今日头条  Tags:SQL   点击:(22)  评论:(0)  加入收藏
我们在写SQL代码时,只要有排序,首先想到的肯定是ORDER BY,以至于好多小伙伴觉得排序多简单啊。今天就给大家介绍四个你不怎么常用排序函数,他们就是SQL Server排序中经常用到的R...【详细内容】
2023-04-11  SQL数据库开发  微信公众号  Tags:SQL   点击:(14)  评论:(0)  加入收藏
PostgreSQL数据库表在删除数据后磁盘空间未释放,该怎么办? 主流的压缩表工具有哪些?该如何选择?1、从空间未释放说起近期生产环境出现一张表占用size已达2T,且会定期删除记录,但...【详细内容】
2023-04-10  数据库干货铺  环球网  Tags:PostgreSQL   点击:(36)  评论:(0)  加入收藏
一、背景关于sql调参数、数据倾斜可以搜到很多文章,本文主要讲解常见的SQL开发场景、“奇葩”SQL写法并深入执行计划,带你了解如何快速写出高效率SQL。二、高效写法1、union直...【详细内容】
2023-04-04  dbaplus社群    Tags:SQL   点击:(13)  评论:(0)  加入收藏
基于SQL的数据可视化和数据挖掘是目前业内非常流行的一种数据分析方法,它可以帮助企业快速地了解和分析自身的数据,从而制定更加科学和有效的业务决策。在本文中,我将以一个实...【详细内容】
2023-04-04  树言树语Tree  今日头条  Tags:数据可视化   点击:(22)  评论:(0)  加入收藏
站内最新
站内热门
站内头条