CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ,可方便实现如下功能:
- wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件,根据源端数据变化进行业务对账
- business-alert : 业务告警插件,根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新链路
-
开放 MySQL -> ObForOracle 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/修改列/清空表)
-
开放 ObForOracle -> OceanBase 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/清空表)
-
开放 OceanBase -> ClickHouse 结构迁移、全量迁移、增量同步、数据校验
-
开放 OceanBase -> MongoDB 全量迁移、增量同步、数据校验
-
开放 MongoDB -> StarRocks 全量迁移、增量同步、数据校验
-
开放 AWS DocumentDB,支持链路等同 MongoDB 且可和 MongoDB 互相同步
新特性
-
支持 ClickHouse ReplaceMergeTree _sign 、_version 字段,所有操作变为 INSERT 且有明确版本信息,增强同步性能
-
支持 Redis <-> Redis EvalSha、PsetEx、Script Load(单机不支持)命令
-
支持 TiDB 源端同步分区表
-
支持 TiDB -> TiDB 分区表结构迁移
-
支持 ElasticSearch -> ElasticSearch 修改订阅,查看库表映射,创建任务或修改订阅表映射和列映射功能
-
支持 PostgreSQL 源端设置心跳(新增参数:dbHeartbeatEnable、dbHeartbeatOp、dbHeartbeatIntervalSec)
-
支持 源端 OceanBase、StarRocks、SQLServer、Db2 设置目标主键 ,方便数据汇聚
-
支持 操作审计记录用户登录成功/失败的操作
-
支持 操作审计多条件查询
-
支持 操作审计展示 uid,以及双击自动按 uid 查询
-
支持 子账号管理界面展示 uid 并支持复制,以及根据 uid 查询子账号
优化
-
优化 PostgreSQL/Oracle/MySQL/MariaDB 到 ClickHouse 结构迁移采用新架构,更加简单统一
-
优化 ClickHouse 驱动依赖,去除 ru.yandex.clickhouse 包内依赖(官方标记将去除),并升级驱动版本为 0.4
-
优化 StarRocks/Doris/SelectDB 获取表唯一键(或主键)字段报错异常信息打印
-
优化 ClickHouse 类型读取逻辑,更好适配复合、复杂类型
-
优化 MongoDB 类型读写逻辑,更好适配复合、复杂类型
-
优化 MySQL 源端 Change Column DDL 语句同步
问题修复
-
修复 TiDB 源端增量同步 TableID 变化导致的同步延迟问题
-
修复 TiDB 源端任务异常重启后,位点异常上报导致丢数据的问题
-
修复 TiDB GPRC 连接创建大量线程导致的 OOM 问题
-
修复 MongoDB 源端因二次校验逻辑问题导致数据校验的错误
-
修复 MongoDB/DocumentDB -> MySQL Timestamp 类型格式不对的问题
-
修复 MongoDB/DocumentDB 对端写入时间类型时区转换的问题
-
修复 OceanBase 源端增量遇致命异常无法退出的问题
-
修复 OceanBase 源端数据校验初始化位点信息失败的问题(NPE)
-
修复 RDS for MySQL 用户非必要 Schema 权限不足导致创建任务失败的问题
-
修复 SQLServer 源端无主键情况下,获取字段元数据异常的问题
-
修复 源端一个事务中有多条变更时 RocketMQ/RabbitMQ/Kafka 对端数据写入 PK 为空的问题(DSG & OGG & Envelope 消息格式)
-
修复 MySQL 源端初始化时区配置错误的问题
-
修复 任务详情展示的创建人均为主账号的问题
免费下载和使用
- 快速上手:https://www.clougence.com/cc-doc/quick/quick_start