国产数据迁移同步工具 CloudCanal v4.2.0.0 发布

2024-07-05 發表於 开源资讯

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase,PolarDB, TiDB, StarRocks, Doris, RocketMQ  等。

结合开源项目 CloudCanalProcess ，可方便实现如下功能

  • wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件，根据源端数据变化进行业务对账
  • business-alert : 业务告警插件，根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS,  亚马逊 DMS,  StreamSets, AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

新链路​

  • 开放 Kafka -> SelectDB / Doris / AutoMQ 增量同步
  • 开放 AutoMQ -> AutoMQ / Kafka 增量同步

新特性​

  • 支持 Oracle 目标端新写入模式（新增参数：enableNewApplyStrategy、writeStrategy）
  • 支持 Redis Db 映射 （新增参数：enableDbMapping）
  • 支持 Redis <-> Redis 双向同步 SRem、SetNx、SetEx、Append、GetSet、MSet、LInsert 命令
  • 支持 二次差异校验数据，大幅度减少因为数据延迟造成的校验误差
  • 支持 校验、订正任务自定义代码
  • 支持 主账号重置子账号登录密码能力
  • 支持 主账号设置禁止删除子账号能力（偏好设置 forbidDelSubAccount）
  • 支持 主账号设置密码强度表达式（正则，偏好设置 subAccountPwdVerifyExpr 和 subAccountPwdVerifyTips），未设置则采用系统默认验证表达式
  • 支持 主账号设置子账号密码强制过期能力 (偏好设置 subAccountPwdExpireDays)
  • 支持 结构迁移 StarRocks 分区设置, 包括 RANGE 分区、表达式分区、LIST 分区
  • 支持 TiDB -> TiDB 结构迁移 AUTO_RANDOM 和 SHARD_ROW_ID_BITS 属性
  • 支持 SelectDB、Doris 新增数据源时添加 useSSL 选项

优化​

  • 优化 Redis 源端对于不支持的指令集抛出异常
  • 优化 Redis 源端全量阶段对于超大 Key 抛出异常（新增参数：keySizeMb）
  • 优化 Kafka 源端 Debezium Envelop Json 消息格式，把 source 字段作为非必要项
  • 优化 MySQL 源端修改订阅创建子任务时，会自动复制主任务的 srcTimeZone connectTimeZone 参数
  • 优化 Oracle 源端的结构迁移，如对端数据源支持 NUMBER（不带长度精度）类型（如 Oracle , PostgreSQL），则保持一致
  • 优化 Doris / SelectDB 对端连续 DDL 报错问题，会通过查询目标端数据库元数据或识别错误信息进行等待或重试
  • 优化 私有部署登录，私有部署禁止使用短信验证码登录
  • 优化 私有部署重置密码操作逻辑，去掉未登录情况重置密码（忘记密码），登录状态重置密码采用老密码验证方式
  • 优化 私有部署更新手机、邮箱操作逻辑，去掉短信验证码验证逻辑，采用当前用户密码验证方式
  • 优化 Kubernetes 部署模式下机器管理页面的展示
  • 优化 Kubernetes 部署脚本，修改相关镜像为阿里云镜像源
  • 优化 Docker 部署支持脚本，修改 Docker 官网 Repo 改成阿里云镜像源
  • 优化 审计日志功能（去除无用操作审计，保留任务、数据源操作审计），支持在线查看审计详细日志
  • 优化 创建任务和修改订阅数据处理步骤筛选表的逻辑，支持批量精确筛选
  • 优化 创建任务元数据获取，过滤 SQLServer 源端 ReportServer$xxxx,ReportServer$xxxxTempDB 等系统库，防止选择 Schema 页面出现权限不足问题
  • 优化 子账号维护逻辑，禁止有权限管理子账号的子账号删除自己
  • 优化 偏好设置，支持开关类型配置操作

问题修复​

  • 修复 Oracle -> PostgreSQL NUMBER 类型（不带长度精度）主键表数据校验失败问题
  • 修复 Oracle NCHAR / CHAR 主键且值为空字符串时写入报错的问题
  • 修复 Oracle 目标端主键为 NCHAR / CHAR 时更新性能低的问题
  • 修复 Oracle 目标端 BLOB / CLOB / RAW 类型写入报错的问题
  • 修复 Oracle 源端 ADD PK / UK 字段大小写转换的问题
  • 修复 Oracle 源端设置目标主键无效的问题
  • 修复 MySQL -> Redis 修改订阅报错的问题
  • 修复 MySQL 双向同步由于心跳未更新导致的任务延迟问题
  • 修复 MySQL 重置文件位点错误更新时间戳位点的问题
  • 修复 MySQL 源端 lower_case_table_names = 2 时，增量同步白名单过滤错误的问题
  • 修复 Hana 源端增量任务延迟指标显示异常的问题
  • 修复 Hana 源端对超大事务无法读取的问题
  • 修复 Kafka -> Kafka 结构迁移源端信息获取错误导致的报错问题
  • 修复 Tunnel / MQ 目标端序列化 byte[] 错误的问题
  • 修复 SQL Server -> SQL Server 结构迁移 NVARCHAR 类型长度 MAX 变成 1 问题
  • 修复 创建任务上传自定义代码过大导致报错的问题
  • 修复 子账号批量授权任务时，任务包含子任务的情况下报错的问题
  • 修复 删除子任务，没有删除数据源使用记录的问题
  • 修复 删除子账号后，对应数据同步任务创建人为空从而报错的问题，默认更新成任务拥有者
  • 修复 页面组件国际化、面包屑导航不准的问题

​免费下载和使用

  • 快速上手：https://www.clougence.com/cc-doc/quick/quick_start 

相關推薦

国产数据迁移同步工具 CloudCanal v4.2.1.0 发布

2024-08-01

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数

统信首届技术开放日，硬核技术引领操作系统“大迁移”

2022-10-26

、技术大咖以及专业媒体代表百余人莅临活动现场，共话国产操作系统迁移落地进展与未来。 统信技术开放日是统信软件打造的一个面向开发者、合作伙伴和用户朋友的实用性和知识性活动平台，致力于赋能开发者与合作伙

Swagger URL 插件上线！同步文档更加简单！

2023-03-18

件：支持数据迁移、主题、API 安全等高达22款插件 国产：能更好的理解国内用户的需求，与开发团队沟通无障碍 完善的用户文档：跟着操作就能快速上手   多提 Issue !多反馈！   在使用过程中有任何

国产数据库管理工具 CloudDM v2.8.0 发布，平台同步和新功能上线

2024-07-31

CloudDM 个人版是 ClouGence 公司推出的一款一站式多数据源开发管理工具，使用它可以方便地访问和管理 MySQL、Oracle、PostgreSQL、阿里云RDS、Greenplum、TiDB、Redis、StarRocks、Doris、SelectDB、SQL SERVER、ClickHouse、OceanBase 、PolarDB-X 、IBM Db2 等

迎接 2023 | 北极星开源一周年，感恩礼倾情相送

2022-12-22

的开源微服务套件，也为了让社区应用开发者可以多一个国产的 Spring Cloud 套件的选择。 腾讯在同期也将 Spring Cloud Tencent 进行了开源 ，默认对接了北极星强大的微服务能力，也是国内首个支持了 Spring Boot 3.0 及 JDK17 的 Spring Clo

dbMigration .NET v16.4 发布，多数据库迁移工具

2023-09-20

dbMigration .NET 是一个简单、方便、直观的多数据库迁移和同步工具，你可以轻松地将数据迁移和同步到 PostgreSQL，反之亦然，无需复杂的程序。 从 15.1 到 16.4 版的主要新功能和改进包括： 添加了对 PostgreSQL 16 (Ver 8.x~16.x)

Solon v2.2.6 发布，助力信创国产化

2023-03-22

它是一个有自己接口标准规范的开放生态，可为应用软件国产化提供支持，助力信创建设。 150来个生态插件，覆盖各种不同的应用开发场景： 相对于 Spring Boot 和 Spring Cloud 的项目： 启动快 5 ～ 10 倍。 （更快） qps 高 2

SQLE 3.2407.0 发布，全面提升多项目场景体验！

2024-08-03

新功能 社区版 支持以 OceanBase 作为元数据库 为强化对国产数据库的适配和优化，推动数据库国产化进程，SQLE 平台现已支持将 OceanBase（MySQL 模式）作为元数据库。如您日常使用的数据库类型均为 OceanBase（MySQL 模式），您

新一代国产 ORM 框架，sqltoy-orm 5.2.77 发版，优化同比环比计算！

2023-11-08

开源地址： github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sqltoy-idea-plugins sqltoy 脚手架项目：https://gitee.com/momoljw/ss

新一代国产 ORM 框架，sqltoy-orm 5.2.81 发版，强化枚举类型支持

2023-11-18

开源地址： github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sqltoy-idea-plugins sqltoy 脚手架项目：https://gitee.com/momoljw/ss

新一代国产 ORM 框架，sqltoy-orm 5.2.74 发版，GaussDB 完成全面生产验证！

2023-10-28

开源地址： github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sqltoy-idea-plugins sqltoy 脚手架项目：https://gitee.com/momoljw/ss

新一代国产 ORM 框架，sagacity-sqltoy-5.2.73 发版

2023-10-25

OSC 请你来轰趴啦！1028 苏州源创会，一起寻宝 AI 时代 开源地址： github: https://github.com/sagframe/sagacity-sqltoy gitee: https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):  https://github.com/threefish/sql

是时候抛弃 mybaits了，国产 sqltoy-orm 5.2.82 发版

2023-11-25

还在mybatis？mybatis-plus、plus、plus？不下20个了吧？mybaits-plus，mybatis-fluent、mybatis-flex、 mybatis-mp多少开发者因此不眠？ 且所有的发力点集中于：为mybatis实现jpa功能，用java lambda模式拟合sql，建议大家可以深度了解一下sqltoy，相信

面向中国企业级用户，PingCAP 发布平凯数据库

2023-07-15

上，PingCAP 携手用户代表发布平凯数据库，以更加完善的国产化生态兼容和企业级服务支持能力降低中国企业升级数据基础设施的成本和复杂性。30 多位来自各行业、深耕数据库领域多年的意见领袖分享了在技术涌现的时代，从

熱門推薦