qData v1.1.0 已经发布,一站式开源数据中台。
qData 1.0.1 数据中台更新日志
✅ 本次亮点
-
重构数据研发-数据集成模块
- 重新设计并优化了数据集成模块,提升了数据处理效率与稳定性,支持更灵活的任务调度与执行管理。
-
排序记录转化组件发布
- 新增排序记录转化功能,支持数据按指定字段进行排序,提升数据处理的灵活性和便捷性。
-
⚙ 字段派生器转化组件发布
- 发布字段派生器组件,支持从现有字段派生新的字段,满足多种复杂的数据处理需求。
功能增强
-
支持多种数据源连接与调度优化
- 强化了数据源连接能力,支持更多数据源类型,并优化了调度系统的执行效率。
-
数据清洗规则增强
- 新增多个数据清洗规则,支持更精细化的规则配置,满足不同数据质量管理的需求。
Bug 修复
-
修复ETL任务异常中断问题
- 解决了在特定情况下,ETL任务执行过程中因网络或资源问题导致任务异常中断的 bug。
-
修复字段类型转换异常
- 修复了部分字段类型在转化过程中出现的数据错误或异常,确保数据转化过程更加稳定可靠。
文档更新
- 更新 SQL 脚本
-
达梦数据库 SQL 脚本:dm_v1_1_0.sql
-
请参阅文件 dm_v1_1_0.sql,该脚本用于达梦数据库的配置和初始化。
-
MySQL 数据库 SQL 脚本:Mysql_v1_1_0.sql
-
请参阅文件 Mysql_v1_1_0.sql,该脚本用于MySQL数据库的配置和初始化。
-
详情查看:https://gitee.com/qiantongtech/qData/releases/v1.1.0