近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。
📥3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2
⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2
主要更新
增加参数类型
为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。
作业数量统计
增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。
其他重要问题修复
- 完善了remote shell文档
- 对工作流操作增加依赖提示
- 页面交互优化(项目偏好设置)
- 替换云环境中Java任务依赖环境为jdk
- 对文件操作的全路径检测
- 增加记录项目参数的操作详情
- 优化告警服务启动时加载bean范围
- 修复参数丢失问题
- 分页查询时总页数错误问题
- 修复任务终止后异常调度问题
- 修复普通用户授权项目问题
- 修复任务组执行异常导致OOM问题
- 优化Switch节点检查分支是否存在
新增Feature
- [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
- [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
- 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas
Improvement
- 将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586)@zhongjiajie
- [Improvement][API] 添加 PageInfo UT ( #15622)@Gallardot
- [Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。(#15681)@calvinjiang
- [Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。( #15695 )@calvinjiang
- [Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang
- [Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang
- [Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang
- [CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS
- [Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas
- [Improvement] 添加资源全路径检查 ( #15786)@caishunfeng
- [Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc
- 从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality (#15791)@ruanwenjun
- [Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong
- [Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli
- [Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli
- [Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867)@xxzuo
- 添加 DSIP 模板(#15871)@ruanwenjun
- [DSIP-28] 不要扫描类路径下的整个目录 bean(#15874)@ruanwenjun
- [DSIP-31] 减少 hikari 的连接池大小 ( #15890)@ruanwenjun
- [Improvement] 修复警报代码坏味道 ( #15892 )@qingwli
- 使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao
- [Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc
- [Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。( #15912 )@calvinjiang
- 优化 RPC 基类的范围(#15946)@ruanwenjun
- [DSIP-35][Alert] 重构警报线程模型 ( #15932)@ruanwenjun
- [Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers
- 添加注册模块统一集成测试 ( #15981 )@ruanwenjun
- [Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888
- [Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli
- 弃用 2.0.9/3.0.6 升级测试(#16012)@ruanwenjun
- [Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord
- [Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas
- [Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015
Bugfix
- 修复恢复暂停工作流实例可能会生成故障转移任务实例问题(#15611)@ruanwenjun
- [FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli
- 修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun
- [Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot
- 修复 Hive jdbc url(#15627)@xxzuo
- [Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu
- [Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652)@ruanwenjun
- [Bug] 修复即使任务已被终止也可能会被调度的问题(#15662)@ruanwenjun
- [Bug] [Worker] 修复:创建具有主目录的 Linux 用户 ( #15670 )@zero-element
- [Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua
- [Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua
- [Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689)@ZhongJinHacker
- [bug][插件]修复 readme.md 中的单词拼写错误 ( #15716)@ZhongJinHacker
- 修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 ( #15677 )@wustlz
- [CI] 修复 UI 构建错误 ( #15732 )@SbloodyS
- [Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736)@arlendp
- [CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS
- [Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本(#15730)@ruanwenjun
- [Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751)@ruanwenjun
- [Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755)@ruanwenjun
- [Fix] 添加资源全名检查 ( #15757 )@caishunfeng
- [Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian
- [bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776)@whhe
- [Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773)@ruanwenjun
- [Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu
- [Bug] [Common] 修复 common.properties 上的拼写错误(#15806)@pegasas
- 修复无法构造 StreamingTaskTriggerResponse 实例的问题(#15816)@atjiucheng
- [Improvement] 异常字符检查 ( #15824 )@pinkfloyds
- [Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds
- [Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi
- 修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun
- 绑定 processId 来构造 CodeGenerator ( #15848)@ruanwenjun
- 禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun
- [Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun
- 将 ssh 心跳类型更改为 IGNORE(#15858)@ruanwenjun
- [FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking
- 修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun
- 修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun
- 修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909)@ruanwenjun
- 修复 java 任务中 jar 路径不正确的问题 ( #15906)@ruanwenjun
- [修复] 已完成的任务无法在工作流实例中重新执行(#15884)@privking
- [Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand(#15956)@stoplyy
- [fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96
- [Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot
- EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun
- 文档:修复拼写错误(#15996)@jbampton
- 修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995)@ruanwenjun
- [Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index(#15993)@coldestlin
- 修复由于 varpool 中的重复键导致工作流实例重新启动失败问题(#16001)@ruanwenjun
- 在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun
- 修复并发操作导致的 rpc channel 泄漏 ( #16021)@ruanwenjun
- 修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun
- [Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031)@rickchengx
- [Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038)@ruanwenjun
- [Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog
- [helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot
- 恢复“[Improvement] 异常字符检查”(#16102)@ruanwenjun
- 修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun
- 修复切换任务下的任务节点不会被跳过 ( #16108)@ruanwenjun
- [Bug] 修复条件任务会导致工作流实例失败 ( #16152)@ruanwenjun
- [Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink
- [Fix-16174] 集群安装指南不正确。(#16208)@SbloodyS
- [Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221)@ruanwenjun
- [Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务(#16238)@lanxing2
- [Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252)@ruanwenjun
- [Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275)@wangbowen1024
- [CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun
- [Fix-16191] 修复任务无法使用工作流的环境 ( #16199)@ruanwenjun
- [Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot
-
Document修复
- [DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun
- [Doc] 修复 CNCF logo(#15634)@Gallardot
- [Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660)@pegasas
- [Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS
- [Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6
- 文档:修复 contribute.md 中的类型(#16022)@jxbwhe
Chore
- 琐事:修改一些 CODEOWNERS(#15654)@zhongjiajie
- [HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS
- [Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214)@SbloodyS
- [Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284)@SbloodyS
- [Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215)@SbloodyS
- [Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun
致谢贡献者
感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后):
DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015