国产数据迁移同步工具 CloudCanal v4.7.2.0 发布,支持可视化打宽表


CloudCanal 免费社区版  ClouGence 公司推出的一款全自研可视化自动化数据迁移同步工具,具备 结构迁移数据迁移数据同步数据校验数据订正 等功能,支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通,其中包含国产数据库 OceanBasePolarDBTiDBStarRocksDorisRocketMQ  等。

结合开源项目 CloudCanalProcess ,可方便实现如下功能:

  • wide-table : 打宽表数据处理插件,主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件,比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件,将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件,根据源端数据变化进行业务对账
  • business-alert : 业务告警插件,根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte,助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

新链路

  • 开放 Dameng -> Dameng 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步(加列/减列)

  • 开放 TiDB -> SelectDB 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步(加列/减列)

  • 开放 PostgreSQL & Oracle & SQL Server -> Iceberg 结构迁移、全量迁移、增量同步

  • 开放 SshFile & S3File & OssFile -> StarRocks & MongoDB Atlas & Elasticsearch 向量构建

  • 开放 StarRocks & MongoDB Atlas & Elasticsearch -> RagApi 链路提供 RAG 服务

新特性

  • 支持 MySQL -> MySQL/StarRocks/Doris/SelectDB 可视化打宽表的能力

  • 支持 Dameng & SQL Server 源端全量定时迁移

  • 支持 Redis <-> Redis Decr、DecrBy、LPop、RPop、LTrim、ZIncrBy、Publish、ZRemRangeByRank、ZRemRangeByLex 指令

  • 支持 SQL Server -> Oracle 自定义虚拟列能力

  • 支持 Kafka securityProtocol(安全协议)PLAINT_TEXT 认证方式

  • 支持 Redis -> Redis 数据校验通过正则表达式过滤数据

  • 支持 MySQL 对端不对 DATETIME 类型数据做时区转换(新增参数:convertDateTimeTimeZone)

  • 支持 具备向量能力的数据库 -> RagApi 修改订阅(修改对话模型)

  • 支持 Anthropic、AWS Bedrock 类型数据源,为数据向量化和 RagApi 服务

  • 支持 文件到 PostgreSQL 根据嵌入模型不同创建不同的向量(维度 2000 以下,4000 以下)

  • 支持 MCP 工具过滤参数 (filterToolNames) 和调用失败策略参数(failIfOneServerFails)

  • 支持 大模型请求时 timeout 参数,可以动态调整请求超时时间,默认 300 秒

  • 支持 文件源端全量修改订阅

  • 支持 导入任务允许额外创建已完成状态的全量迁移,以便用户重跑任务

  • 支持 Kubernetes Helm 安装方式

优化

  • 优化 Redis -> Redis 同步期间 KeyDiff 上报频率以及分片集群差值累加问题

  • 优化 Redis -> Redis 数据校验批量扫描逻辑

  • 优化 重跑任务可能出现状态机状态不对的问题,延迟 1 秒执行挂载、激活等操作的异步任务

  • 优化 额外添加订正任务可能出现状态机状态不对的问题,延迟 1 秒执行创建的异步任务

问题修复

  • 修复 MySQL -> ClickHouse 创建任务数据处理页面弹窗报错的问题

  • 修复 MySQL 源端 fix String length (20030999) exceeds the maximum length (20000000) 问题

  • 修复 TiDB -> StarRocks DDL 兼容问题(加列/减列/修改列)

  • 修复 TiDB -> TiDB 结构迁移 PK/UK/INDEX 未指定索引列前缀导致的索引长度溢出问题

  • 修复 TDengine 源端 Timestamp 主键时区转换后数据校验不准确问题

  • 修复 PostgreSQL 创建任务时 sslMode 配置未生效问题

  • 修复 SQL Server -> StarRocks 结构迁移 decimal 类型缺失精度的问题

  • 修复 获取 StarRocks 表唯一键时返回结果为空的问题

  • 修复 subAccountAuthType 参数为 PASSWORD 时,设置通用参数 subAccountPwdVerifyExpr 保存报错的问题

  • 修复 MongoDB -> MongoDB Array 类型空数组增量同步到对端数据值为 NULL 的问题

  • 修复 MySQL 目标端结构迁移,字段注释含有 '' 时报错的问题

  • 修复 PostgreSQL 配置心跳未生效的问题

  • 修复 创建文件到向量数据库相似任务,dimension 参数未复制的问题

  • 修复 向量数据库 -> RagApi 结构迁移显示同步表为 0 的问题

  • 修复 文件 -> 向量数据库设置统一对端表名后结构迁移日志冗余的问题

  • 修复 Ollama 和 ZhipuAI 展示思维不准确的问题

  • 修复 Redis 集群源端数据校验期间集群数据迁移出现的异常问题

  • 修复 Redis -> Redis 同步追加数据校验订正任务异常问题

  • 修复 MySQL -> Iceberg DDL 同步表名映射失效问题

  • 修复 查看关联任务展示异常的问题

  • 修复 参数修改中(新增数据源、修改数据源参数等),撤销修改的时候会把其他开关类型的参数都撤销的问题

免费下载和使用

  • 快速上手:https://www.clougence.com/cc-doc/quick/quick_star

相關推薦

2024-09-28

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-11-01

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2025-04-30

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-07-05

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2024-08-01

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2025-04-02

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具,具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能,支持 30+ 款流行关系型数据库、实时数

2023-03-18

工作。   Postcat 核心功能: API 文档管理:可视化 API 设计,生成 API 文档 API 测试:自动生成测试参数,自动生成测试用例,可视化数据编辑 插件拓展:众多插件扩展产品功能,打造属于你和团队的 API 开

2024-08-10

群都可以进行自动扩缩容。与此同时,SelectDB Cloud 提供了可视化的管理控制台,帮助简化开发运维工作。 您可通过上图了解 SelectDB Cloud 整体架构:对于企业而言,可以建立多个仓库、每个仓库可以有多个计算集群,这些集群

2024-10-17

计页面里日志路径显示问题,现在可以区分出 CloudDM 和 CloudCanal。 [优化] 优化内置角色会在角色名称后面增加“内” 提示用以区分用户新建角色和系统内置角色重名时区分不明显的问题。 [优化] 优化 Docker 版在启动时

2022-12-22

册中心),配置数据存取(配置中心),以及治理规则的可视化配置(web控制台)的问题。 (2)部分组件与特定基础设施和具体数据面(k8s+Envoy)绑定,没法覆盖非k8s的应用、以及使用Spring Cloud等服务框架的应用直连接入场

2022-10-26

、技术大咖以及专业媒体代表百余人莅临活动现场,共话国产操作系统迁移落地进展与未来。 统信技术开放日是统信软件打造的一个面向开发者、合作伙伴和用户朋友的实用性和知识性活动平台,致力于赋能开发者与合作伙

2023-03-10

和测试功能。   核心功能: API 文档管理,可视化 API 设计,生成 API 文档 API 测试, 自动生成测试参数,自动生成测试用例,可视化数据编辑 Mock,根据文档自动生成 Mock,或创建自定义 Mock 满足复杂场景

2024-07-31

CloudDM 个人版是 ClouGence 公司推出的一款一站式多数据源开发管理工具,使用它可以方便地访问和管理 MySQL、Oracle、PostgreSQL、阿里云RDS、Greenplum、TiDB、Redis、StarRocks、Doris、SelectDB、SQL SERVER、ClickHouse、OceanBase 、PolarDB-X 、IBM Db2 等

2024-07-02

发工程师以及任何需要数据集成服务的用户,同时也提供可视化拖拽界面给数据科学家、数据分析师、产品经理等业务用户,支持全流程可视化的任务定义、调用、监控和管理。 数据源更新(部分) 2.6版本新增了多种数据源,数