CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。
结合开源项目 CloudCanalProcess ，可方便实现如下功能：
- wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
- data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
- data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
- data-compare : 数据对比插件，根据源端数据变化进行业务对账
- business-alert : 业务告警插件，根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
新特性
- 支持 TiDB 4.x 版本结构迁移、全量同步、增量同步
- 支持 MySQL -> MySQL/TiDB RANGE 分区结构迁移，MySQL->MySQL 支持分区增减 DDL 同步
- 支持 MySQL -> MySQL/StarRocks/TiDB，PostgreSQL -> MySQL 表字段值转换表达式设置（Data Transformation），当前支持 11 种常用表达式，后续不断增加
- 支持 StarRocks 全量源端从各 BE 节点并行读取数据能力（新增任务参数：scanMode、feHttpAddr、beThriftAddr、scanMaxRetries、keepAliveMin、queryTimeout、memLimit）
- 支持 修改 MongoDB 目标端写入模式，默认替换部分（UPSERT_PART）可修改为整行替换（UPSERT_ALL）(新增任务参数：writeStrategy)
- 支持 在 Oracle 和 TiDB 作为目标端时，全量写入时根据对端表字段定义生成 INSERT SQL（参数：useDeflnFullTask）
- 支持 设置子账号可拥有与主账号一样的资源权限，方便 DBA 团队使用
优化
- 优化 StarRocks、Redis 对端支持同步源端无主键但有唯一键的表
- 优化 PostgreSQL 源端数据同步，因 DDL 同步源端要创建 Event Trigger，需要较大权限，所以创建任务默认不勾选 DDL 同步
- 优化 Console、Sidecar 和 任务的告警日志，子账号角色只要拥有 告警记录-告警记录查看 权限，即可查看相应的告警日志
- 优化 Docker 容器系统参数，设置最大文件数（65535）和 最大进程打开数（131072）
- 优化 添加数据源时，新增数据源按钮添加 Loading 样式
- 优化 对 Hana 源端表级位点的展示
问题修复
- 修复 StarRocks 对端订正任务进度卡住无法结束的问题
- 修复 源端变更主键 StarRocks 对端出现两条数据的问题
- 修复 MongoDB -> MongoDB sub-list 类型写入为字符串的问题
- 修复 StarRocks / Doris 校验任务包含字符串类型主键数据校验范围计算不正确的问题
- 修复 Oracle RAC 环境下其中一个 Thread 长时间没有归档导致漏扫数据的问题
- 修复 SQLServer、PostgreSQL、Db2 源端数据校验时 char 类型字段尾部携带用于补长的空格导致的校验不一致的问题
- 修复 CloudCanal 3.x 升级到 4.x 内部用户丢失导致的 NPE 问题
- 修复 PostgreSQL 源端删除任务时，PostgreSQL 中 publication 未清理干净的问题
- 修复 设置目标主键为唯一索引下拉框不展示设置值的问题
- 修复 License 包含未授权数据源的任务不能修改订阅的问题
- 修复 修改手机号/邮箱后日志详情显示 oldphone/oldemail 和 newphone/newemail 相同的问题
- 修复 LDAP 和 AD 用户无法登陆问题
- 修复 LDAP 和 AD 用户登陆后无法修改自己的手机号、邮箱的问题
- 修复 创建角色时，包含权限不会自动添加的问题
- 修复 安全漏洞，升级 Docker 镜像 MySQL 版本到 8.0.39，升级产品三方依赖包版本
免费下载和使用
- 快速上手：https://www.clougence.com/cc-doc/quick/quick_star