大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布 1.4 版本


我们很高兴向大家宣布,2023年4月14日,Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议,进行了此次迭代优化。

本次更新不仅包含了性能优化和稳定性的提升,还新增了各类任务类型、完善大量任务功能,优化使用场景,持续增强开源产品化技术能力和应用能力。

Taier 是一款好用又强大的大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性。它让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 数已经突破 1.1 k,并拥有37名社区贡献者,我们在此对所有参与到 Taier 项目及社区建设的朋友们表达由衷的感谢。

目前新版本已在 Github 与 Gitee 上线,欢迎大家前往体验。

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社区官网:

https://dtstack.github.io/Taier/

Taier 1.4 版本更新亮点

新增任务类型

· 新增 DataX 组件,在无 Hadoop 环境的情况下,Taier 可以通过执行 DataX 的任务来实现异构数据源之间高速稳定的数据同步的能力,增强 Taier 在单机模式下的基础功能。

· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任务类型,完善 Taier 相关 SQL 任务类型。

· 新增 Hadoop MR 任务类型,可以通过自行编写 Map/Reduce 的代码,来执行对应的数据集的处理。

完善任务功能

· Script 组件新增 Standalone 模式, 支持 Python、Shell 任务本地执行,移除脚本任务对 Hadoop 环境的强依赖。

· 数据同步任务支持 Hive3 的数据源向导模式配置。

· HiveSQL、Spark SQL 的临时查询表支持定时清理。

优化使用场景

· 兼容 Taier 在 Window 环境下部署运行的环境问题。

· 优化 Taier 部分元数据表结构信息、完善表结构备注信息。

· 优化控制台组件配置参数信息,移除环境相关参数信息,Spark 组件支持自动上传 SqlProxy 包,减少组件配置依赖。

接下来

Taier 1.4 版本的发布是又一个全新的开始,开发团队不会停下脚步,未来将根据用户反馈加速迭代持续优化,完善 Taier 的功能和文档,满足用户更多场景的使用,推进国内开源生态的发展。

Taier 此前的成绩离不开每一位参与者的贡献与支持,踏上这个新的起点,Taier 的未来也仍需大家共同努力,让 Taier 朝着好用又强大的 DAG 任务调度系统的目标继续前进。


相關推薦

2023-04-25

大潜力。毫无疑问,大模型的训练需要巨大的算力,这对分布式并行框架是一项考验。现如今,业界越来越多的团队纷纷转向分布式框架的研究与开发之中,既有针对特定场景特定模型的极致手工优化,也包括面向通用模型通用

2023-09-13

会精彩演讲回顾 介绍 Openjob 基于Akka架构的新一代分布式任务调度框架。支持多种定时任务、延时任务、工作流设计,采用无中心化架构,底层使用一致性分片算法,支持无限水平扩容。 高可靠 分布式无状

2023-11-16

一款致力提高分布式业务系统一致性的分布式重试与任务调度平台 易用性 业务接入成本小。避免依赖研发人员的技术水平,保障稳定性 灵活性 能够动态调整配置,启动/停止任务,以及终止运行中的任务 操作简单&nbs

2023-03-10

(如 HDFS、S3 和 MySQL)集成 。 DolphinScheduler 的 架构基于分布式和高可用设计,保证了平台的可扩展性和可靠性 。它还 支持多种部署模式,包括独立模式、集群模式和 Kubernetes 模式 ,以满足不同用户的需求。 DolphinScheduler 的一

2023-04-27

模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解,才能够快速批量开启模型训练,保证资源利用率。 目前业

2022-09-29

)。移动端使用 Taro vue3+TS为技术栈(开发中)。分布式版本 Bootx-Cloud(开发中)。提前祝国庆快乐呀!!!🚅 路线图工作流功能完善 9 月 更灵活的节点用户配置,可配置发起人、指定用户、指定角色等 [完成] 

2023-05-18

时警报 #13822 [修复 13941]修复替换时间变量 #13975 [BUG][数据质量]修复升级SQL中不正确的DML语句 (#13960) [Fix-13780][api] 修复流程实例 DAG 无法显示依赖任务的问题 #13823 [修复 13869]添加返回成功判断 #13873 [Bug] [worker] WorkerConfig

2022-08-20

e 和 --track-allocation)不能提供足够的细粒度细节、良好的可视化和易用性。 Julia 1.8 有了新的分配分析器 (Profile.Allocs),它使用每个类型、大小和堆栈跟踪来捕获堆分配,并使用 PProf.jl 轻松可视化。 如下所示,VS Code 的 Julia 扩

2023-09-23

理 邓明昆 邓明昆在分论坛演讲中提到:云原生技术以“分布式、松耦合、高韧性”等特征在企业基础架构升级及应用开发上展现出巨大的价值,越来越多企业开始基于云原生构建面向未来的创新服务。华为云深耕云原生,坚持

2023-08-23

的某种资源总量小于已分配资源量时,Volcano 认为该节点数据不一致,会隔离节点,停止向该节点调度任何新的工作负载。在1.8版本中,对于节点资源进行精细化管理,比如:当节点的 GPU 总资源容量小于已分配资源量时,申请 G

2024-03-03

Application 模式的 dinky-app-xxxx.jar 的定义移到集群配置中 数据库DDL 部分不兼容升级 Dinky内置Catalog的类型属性由 dlink_catalog 变更为 dinky_catalog 重构 重构数据开发 重构运维中心 重构注册中心 重构 Flink 任务提交流程

2022-09-30

-Cloud-Plus 重写 RuoYi-Cloud 全方位升级(不兼容原框架) 分布式集群分支 RuoYi-Vue-Plus 重写 RuoYi-Vue (不兼容原框架) 前端开发框架 Vue、Element UI   后端开发框架 SpringBoot   微服务开发框架 SpringCloud &n

2023-11-06

ArkUI组件定制化能力和组件动效能力也得到进一步增强;分布式硬件支持的范围扩大到音频和输入领域;分布式数据为开发者数据分享带来了全新的统一数据管理框架。 另外,该版本在媒体、安全和隐私保护等方面也得到了进

2022-10-04

PowerJob v4.2.0 已经发布,分布式任务调度中间件 此版本更新内容包括: PowerJob 主框架 Features 支持动态日志,可使用控制台配置调整 Job 使用的 Logger 及 LogLevel。 支持 SERVER(服务端日志,默认)、LOCAL(本地日志)、STDOUT