国产数据迁移同步工具 CloudCanal v4.4.0.0 发布


CloudCanal 免费社区版  ClouGence 公司推出的一款全自研可视化自动化数据迁移同步工具,具备 结构迁移数据迁移数据同步数据校验数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBasePolarDBTiDBStarRocksDorisRocketMQ 等。

结合开源项目 CloudCanalProcess ,可方便实现如下功能:

  • wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件,根据源端数据变化进行业务对账
  • business-alert : 业务告警插件,根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

新链路

  • 开放 MySQL -> ObForOracle 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/修改列/清空表)

  • 开放 ObForOracle -> OceanBase 结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步(加列/减列/清空表)

  • 开放 OceanBase -> ClickHouse 结构迁移、全量迁移、增量同步、数据校验

  • 开放 OceanBase -> MongoDB 全量迁移、增量同步、数据校验

  • 开放 MongoDB -> StarRocks 全量迁移、增量同步、数据校验

  • 开放 AWS DocumentDB,支持链路等同 MongoDB 且可和 MongoDB 互相同步

新特性

  • 支持 ClickHouse ReplaceMergeTree _sign 、_version 字段,所有操作变为 INSERT 且有明确版本信息,增强同步性能

  • 支持 Redis <-> Redis EvalSha、PsetEx、Script Load(单机不支持)命令

  • 支持 TiDB 源端同步分区表

  • 支持 TiDB -> TiDB 分区表结构迁移

  • 支持 ElasticSearch -> ElasticSearch 修改订阅,查看库表映射,创建任务或修改订阅表映射和列映射功能

  • 支持 PostgreSQL 源端设置心跳(新增参数:dbHeartbeatEnable、dbHeartbeatOp、dbHeartbeatIntervalSec)

  • 支持 源端 OceanBase、StarRocks、SQLServer、Db2 设置目标主键 ,方便数据汇聚

  • 支持 操作审计记录用户登录成功/失败的操作

  • 支持 操作审计多条件查询

  • 支持 操作审计展示 uid,以及双击自动按 uid 查询

  • 支持 子账号管理界面展示 uid 并支持复制,以及根据 uid 查询子账号

优化

  • 优化 PostgreSQL/Oracle/MySQL/MariaDB 到 ClickHouse 结构迁移采用新架构,更加简单统一

  • 优化 ClickHouse 驱动依赖,去除 ru.yandex.clickhouse 包内依赖(官方标记将去除),并升级驱动版本为 0.4

  • 优化 StarRocks/Doris/SelectDB 获取表唯一键(或主键)字段报错异常信息打印

  • 优化 ClickHouse 类型读取逻辑,更好适配复合、复杂类型

  • 优化 MongoDB 类型读写逻辑,更好适配复合、复杂类型

  • 优化 MySQL 源端 Change Column DDL 语句同步

问题修复

  • 修复 TiDB 源端增量同步 TableID 变化导致的同步延迟问题

  • 修复 TiDB 源端任务异常重启后,位点异常上报导致丢数据的问题

  • 修复 TiDB GPRC 连接创建大量线程导致的 OOM 问题

  • 修复 MongoDB 源端因二次校验逻辑问题导致数据校验的错误

  • 修复 MongoDB/DocumentDB -> MySQL Timestamp 类型格式不对的问题

  • 修复 MongoDB/DocumentDB 对端写入时间类型时区转换的问题

  • 修复 OceanBase 源端增量遇致命异常无法退出的问题

  • 修复 OceanBase 源端数据校验初始化位点信息失败的问题(NPE)

  • 修复 RDS for MySQL 用户非必要 Schema 权限不足导致创建任务失败的问题

  • 修复 SQLServer 源端无主键情况下,获取字段元数据异常的问题

  • 修复 源端一个事务中有多条变更时 RocketMQ/RabbitMQ/Kafka 对端数据写入 PK 为空的问题(DSG & OGG & Envelope 消息格式)

  • 修复 MySQL 源端初始化时区配置错误的问题

  • 修复 任务详情展示的创建人均为主账号的问题

免费下载和使用

  • 快速上手:https://www.clougence.com/cc-doc/quick/quick_start

相關推薦

2024-11-01

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-08-01

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-07-05

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-10-17

计页面里日志路径显示问题,现在可以区分出 CloudDM 和 CloudCanal。 [优化] 优化内置角色会在角色名称后面增加“内” 提示用以区分用户新建角色和系统内置角色重名时区分不明显的问题。 [优化] 优化 Docker 版在启动时

2022-10-26

、技术大咖以及专业媒体代表百余人莅临活动现场,共话国产操作系统迁移落地进展与未来。 统信技术开放日是统信软件打造的一个面向开发者、合作伙伴和用户朋友的实用性和知识性活动平台,致力于赋能开发者与合作伙

2023-03-18

件:支持数据迁移、主题、API 安全等高达22款插件 国产:能更好的理解国内用户的需求,与开发团队沟通无障碍 完善的用户文档:跟着操作就能快速上手   多提 Issue !多反馈!   在使用过程中有任何

2024-07-31

CloudDM 个人版是 ClouGence 公司推出的一款一站式多数据源开发管理工具,使用它可以方便地访问和管理 MySQL、Oracle、PostgreSQL、阿里云RDS、Greenplum、TiDB、Redis、StarRocks、Doris、SelectDB、SQL SERVER、ClickHouse、OceanBase 、PolarDB-X 、IBM Db2 等

2022-12-22

的开源微服务套件,也为了让社区应用开发者可以多一个国产的 Spring Cloud 套件的选择。 腾讯在同期也将 Spring Cloud Tencent 进行了开源 ,默认对接了北极星强大的微服务能力,也是国内首个支持了 Spring Boot 3.0 及 JDK17 的 Spring Clo

2023-09-20

dbMigration .NET 是一个简单、方便、直观的多数据库迁移和同步工具,你可以轻松地将数据迁移和同步到 PostgreSQL,反之亦然,无需复杂的程序。 从 15.1 到 16.4 版的主要新功能和改进包括: 添加了对 PostgreSQL 16 (Ver 8.x~16.x)

2024-08-03

新功能 社区版 支持以 OceanBase 作为元数据库 为强化对国产数据库的适配和优化,推动数据库国产化进程,SQLE 平台现已支持将 OceanBase(MySQL 模式)作为元数据库。如您日常使用的数据库类型均为 OceanBase(MySQL 模式),您

2023-03-22

它是一个有自己接口标准规范的开放生态,可为应用软件国产化提供支持,助力信创建设。 150来个生态插件,覆盖各种不同的应用开发场景: 相对于 Spring Boot 和 Spring Cloud 的项目: 启动快 5 ~ 10 倍。 (更快) qps 高 2

2023-11-08

开源地址: github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sqltoy-idea-plugins sqltoy 脚手架项目:https://gitee.com/momoljw/ss

2023-11-18

开源地址: github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sqltoy-idea-plugins sqltoy 脚手架项目:https://gitee.com/momoljw/ss

2024-11-01

别总是再mybatis了,最近信创被mybatis坑惨了,一堆xml中乱七八糟的的sql,再强调mybatis真的是坑害大家! 开源地址: github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 i