Apache DolphinScheduler 3.2.2 版本正式发布!


近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。

📥3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2
⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2

主要更新

增加参数类型

为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。

作业数量统计

增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。

其他重要问题修复

  • 完善了remote shell文档
  • 对工作流操作增加依赖提示
  • 页面交互优化(项目偏好设置)
  • 替换云环境中Java任务依赖环境为jdk
  • 对文件操作的全路径检测
  • 增加记录项目参数的操作详情
  • 优化告警服务启动时加载bean范围
  • 修复参数丢失问题
  • 分页查询时总页数错误问题
  • 修复任务终止后异常调度问题
  • 修复普通用户授权项目问题
  • 修复任务组执行异常导致OOM问题
  • 优化Switch节点检查分支是否存在

新增Feature

  • [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
  • [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
  • 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas

Improvement

  • 将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586)@zhongjiajie
  • [Improvement][API] 添加 PageInfo UT ( #15622)@Gallardot
  • [Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。(#15681)@calvinjiang
  • [Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。( #15695 )@calvinjiang
  • [Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang
  • [Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang
  • [Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang
  • [CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS
  • [Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas
  • [Improvement] 添加资源全路径检查 ( #15786)@caishunfeng
  • [Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc
  • 从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality (#15791)@ruanwenjun
  • [Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong
  • [Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli
  • [Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli
  • [Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867)@xxzuo
  • 添加 DSIP 模板(#15871)@ruanwenjun
  • [DSIP-28] 不要扫描类路径下的整个目录 bean(#15874)@ruanwenjun
  • [DSIP-31] 减少 hikari 的连接池大小 ( #15890)@ruanwenjun
  • [Improvement] 修复警报代码坏味道 ( #15892 )@qingwli
  • 使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao
  • [Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc
  • [Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。( #15912 )@calvinjiang
  • 优化 RPC 基类的范围(#15946)@ruanwenjun
  • [DSIP-35][Alert] 重构警报线程模型 ( #15932)@ruanwenjun
  • [Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers
  • 添加注册模块统一集成测试 ( #15981 )@ruanwenjun
  • [Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888
  • [Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli
  • 弃用 2.0.9/3.0.6 升级测试(#16012)@ruanwenjun
  • [Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord
  • [Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas
  • [Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015

Bugfix

  • 修复恢复暂停工作流实例可能会生成故障转移任务实例问题(#15611)@ruanwenjun
  • [FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli
  • 修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun
  • [Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot
  • 修复 Hive jdbc url(#15627)@xxzuo
  • [Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu
  • [Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652)@ruanwenjun
  • [Bug] 修复即使任务已被终止也可能会被调度的问题(#15662)@ruanwenjun
  • [Bug] [Worker] 修复:创建具有主目录的 Linux 用户 ( #15670 )@zero-element
  • [Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua
  • [Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua
  • [Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689)@ZhongJinHacker
  • [bug][插件]修复 readme.md 中的单词拼写错误 ( #15716)@ZhongJinHacker
  • 修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 ( #15677 )@wustlz
  • [CI] 修复 UI 构建错误 ( #15732 )@SbloodyS
  • [Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736)@arlendp
  • [CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS
  • [Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本(#15730)@ruanwenjun
  • [Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751)@ruanwenjun
  • [Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755)@ruanwenjun
  • [Fix] 添加资源全名检查 ( #15757 )@caishunfeng
  • [Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian
  • [bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776)@whhe
  • [Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773)@ruanwenjun
  • [Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu
  • [Bug] [Common] 修复 common.properties 上的拼写错误(#15806)@pegasas
  • 修复无法构造 StreamingTaskTriggerResponse 实例的问题(#15816)@atjiucheng
  • [Improvement] 异常字符检查 ( #15824 )@pinkfloyds
  • [Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds
  • [Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi
  • 修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun
  • 绑定 processId 来构造 CodeGenerator ( #15848)@ruanwenjun
  • 禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun
  • [Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun
  • 将 ssh 心跳类型更改为 IGNORE(#15858)@ruanwenjun
  • [FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking
  • 修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun
  • 修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun
  • 修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909)@ruanwenjun
  • 修复 java 任务中 jar 路径不正确的问题 ( #15906)@ruanwenjun
  • [修复] 已完成的任务无法在工作流实例中重新执行(#15884)@privking
  • [Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand(#15956)@stoplyy
  • [fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96
  • [Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot
  • EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun
  • 文档:修复拼写错误(#15996)@jbampton
  • 修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995)@ruanwenjun
  • [Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index(#15993)@coldestlin
  • 修复由于 varpool 中的重复键导致工作流实例重新启动失败问题(#16001)@ruanwenjun
  • 在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun
  • 修复并发操作导致的 rpc channel 泄漏 ( #16021)@ruanwenjun
  • 修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun
  • [Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031)@rickchengx
  • [Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038)@ruanwenjun
  • [Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog
  • [helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot
  • 恢复“[Improvement] 异常字符检查”(#16102)@ruanwenjun
  • 修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun
  • 修复切换任务下的任务节点不会被跳过 ( #16108)@ruanwenjun
  • [Bug] 修复条件任务会导致工作流实例失败 ( #16152)@ruanwenjun
  • [Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink
  • [Fix-16174] 集群安装指南不正确。(#16208)@SbloodyS
  • [Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221)@ruanwenjun
  • [Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务(#16238)@lanxing2
  • [Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252)@ruanwenjun
  • [Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275)@wangbowen1024
  • [CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun
  • [Fix-16191] 修复任务无法使用工作流的环境 ( #16199)@ruanwenjun
  • [Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot
  • Document修复

  • [DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun
  • [Doc] 修复 CNCF logo(#15634)@Gallardot
  • [Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660)@pegasas
  • [Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS
  • [Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6
  • 文档:修复 contribute.md 中的类型(#16022)@jxbwhe

Chore

  • 琐事:修改一些 CODEOWNERS(#15654)@zhongjiajie
  • [HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS
  • [Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214)@SbloodyS
  • [Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284)@SbloodyS
  • [Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215)@SbloodyS
  • [Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun

致谢贡献者

感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后):
DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015


相關推薦

2023-03-17

Apache DolphinScheduler 发布了 3.1.4 版本。此版本共计修复 11 个 bug,并更新 1 个文档修复。 其中的较为重要的 Bug fix 为: 修复任务唤醒失败会阻塞事件处理 (#13466) 修复 K8s 任务运行失败 (#13348) 修复 MessageSender 可能由于类初

2023-03-10

今天,Apache DolphinScheduler GitHub Star 突破 10000,项目迎来一个重要里程碑。这表明 Apache DolphinScheduler 已经在全球的开发者和用户中获得了广泛的认可和使用。 ​ DolphinScheduler 旨在解决公司日常运营中的大数据处理工作流调度

2023-05-18

近日,Apache DolphinScheduler 发布了 3.1.6 版本。值得注意的是,此版本除了基于 3.1.5 版本进行了 bug 修复、Doc 完善外, 还进行了 SeaTunnel Zeta 引擎的支持。   其中较为重要的为: 修复依赖任务不正确的超时警报 #13822

2022-10-10

li 数据调度和编排 Alluxio/alluxio apache/airflow apache/dolphinscheduler apache/incubator-linkis apache/nifi apache/oozie apache/zookeeper dagster-io/dagster kestra-io/kestra PrefectHQ/prefect 其他项目补充征集 如果你也是开源项目的爱好者,如果你

2024-10-22

行,从而提高了添加数据源实例的效率。 提供了TIS与DolphinScheduler整合方案插件 为响应用户多次提出TIS与DolphinScheduler整合方案的需要,提供了TIS与DolphinScheduler整合方案插件,事先在TIS中配置数据管道,验证无误后,通过在相

2023-02-03

代立冬 Apache Linkis Mentor Apache 软件基金会 Member Apache DolphinScheduler PMC Chair  感谢社区每一位成员的热情和贡献!我们通过对 "Apache Way" 的持续践行,形成了一个多样、有序,且能够推动项目不断进化的、富有生命力的

2024-07-02

,80%员工都是 Apache Committer,运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel)。白鲸开源已根据全球最佳实践发布商业版产品WhaleStudio(含白鲸数据调度平台WhaleScheduler和白鲸数据集成平台WhaleTunnel)。我们致力于打造下一代开源

2022-05-24

C Chair 代立冬[5]:白鲸开源联合创始人,ASF Member,Apache DolphinScheduler PMC Chair 郭斯杰[6]:ASF Member, PMC Member on Apache Pulsar,StreamNative 创始人 & CEO Felix Cheung[7]:ASF Member,Apache Zeppelin、Spark、SuperSet、YuniKorn、Pinot 等项目 PMC,Saf

2023-07-26

Apache APISIX 3.2.2 现已发布,此版本包含了一系列的修复和优化。 修复 升级 lua-resty-jwt 依赖版本 将 lua-resty-jwt 的依赖版本从 0.2.4 升级到 0.2.5,避免 APISIX jwt-auth 插件中身份验证绕过的安全

2022-04-07

起为开源献出一份力!致谢列表如下: Apache Flink Apache Dolphinscheduler Ant-Design-Pro Mybatis Plus Monaco Editor SpringBoot

2024-03-03

警 重构权限管理 重构系统配置为在线配置 重构推送DolphinScheduler 重构打包方式 新功能 数据开发支持代码片段提示 支持实时打印 Flink 表数据 控制台实时打印任务提交 log 支持 Flink CDC 3.0 整库同步 支持自定义告

2023-02-07

2023年1月26日,Apache 软件基金会 (ASF) 官方宣布 Apache bRPC 正式毕业,成为 Apache 顶级项目 (Top-Level Project, TLP)。 Apache bRPC 是由百度初始创立并持续贡献的工业级别 RPC 开源项目,在 2018 年正式贡献给 Apache 软件基金会进行项目孵化

2022-06-10

Apache Hop 2.0.0 已正式发布。 Apache Hop(Hop 是 Hop Orchestration Platform 的缩写)是一个灵活、元数据驱动的数据编排、工程和集成平台。该项目起源于二十多年前的 ETL 平台 Kettle,经过几年的重构,于 2020 年 9 月进入 ASF 孵化器。 Kettle

2024-01-30

亲爱的社区小伙伴们,Apache Doris 2.0.4 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化