PowerJob v4.3.8 已经发布,分布式任务调度中间件


PowerJob v4.3.8 已经发布,分布式任务调度中间件

此版本更新内容包括:

PowerJob 主框架

PowerJob 全体成员祝大家龙年腾飞,新的一年身体健康,万事如意,阖家欢乐,幸福安康!

Features

  • Map/MapReduce增强
    • 性能优化:底层执行架构升级,通过 SWAP 置换支持千万/亿级子任务
    • 策略优化:支持 TaskTracker 行为配置(任务配置-高级设置-TaskTracker 行为),新增主节点 PADDLING(划水)模式。启用后主节点只负责管理,不参与计算,稳定性最优。适用于节点数量非常多的大规模计算场景,少一个计算节点来换取稳定性提升。
  • 运维增强:Map/MapReduce 类任务开放子任务查询功能,清晰追踪集群计算动态
  • 调度策略增强:新增指定主节点(SPECIFY)模式。常用于 Map/MapReduce 等场景,大规模计算时,主节点部署/重启会导致任务完全失败,因此可为主节点搭建一个隔离环境,通过该参数指定主节点到该隔离环境运行,使其摆脱普通 worker 节点部署带来的影响。指定语法等同于“执行机器地址”的语法,填写 IP 或者 TAG。

Bugfix

  • fix: 跨版本的 http 协议序列化兼容性问题(低版本可通过单独升级 powerjob-remote-impl-http 依赖到最新版本解决)

Compatibility

  • powerjob-server 在前序版本的基础上,数据库 job_info 表新增 dispatch_strategy_configadvanced_runtime_config 字段
  • 与上个版本完全兼容,即整体与 4.2.x、4.3.x 版本兼容(使用了 HTTP 协议需要升级 powerjob-remote-impl-http 以修复序列化 BUG)

详情查看:https://gitee.com/KFCFans/PowerJob/releases/v4.3.8


相關推薦

2022-10-04

PowerJob v4.2.0 已经发布,分布式任务调度中间件 此版本更新内容包括: PowerJob 主框架 Features 支持动态日志,可使用控制台配置调整 Job 使用的 Logger 及 LogLevel。 支持 SERVER(服务端日志,默认)、LOCAL(本地日志)、STDOUT

2023-03-20

PowerJob v4.3.2 已经发布,分布式任务调度中间件 此版本更新内容包括: PowerJob 主框架 BugFix 修复了工作流直接追加 String 内容时新增引号的问题 #307 修复了表前缀配置oms.table-prefix无法正常工作的问题 #584 修复了测试模式 p

2024-05-21

模式。借助PowerJob的力量,我们的单点同步任务现在可以分布式执行,支持多任务并发,极大地提升了数据同步管道的吞吐能力。 而且,我们还增加了基于PowerJob的Crontab定时任务触发方式,让T+1离线数据的自动采集变得轻而易举

2023-10-31

总了框架从 v4.3.7 到 v4.4.3 的版本发布简报,中文手册也已经同步升级到了 v4.4.3 版本: https://codeigniter.org.cn/user_guide/index.html 下面是简报内容: 我们发布了新的 Bug 修复版本 v4.3.7。 这包含了几个小的 Bug 修复,包括小的不兼容

2023-09-05

具包(感谢 友杰 !pr367) [不兼容更新] 对接 powerjob 实现分布式任务调度 删除原有 xxljob 原因为社区不更新功能太少只支持mysql(感谢 yhan219 !pr359) [重大更新] 新增 三方授权绑定登录功能 基于 justauth 支持市面上大部分三方登录(

2023-09-06

短信工具包(感谢 友杰) [不兼容更新] 对接 powerjob 实现分布式任务调度 删除原有 xxljob 原因为社区不更新功能太少只支持mysql(感谢 yhan219) [重大更新] 新增 三方授权绑定登录功能 基于 justauth 支持市面上大部分三方登录(感谢

2024-10-22

装说明( https://tis.pub/docs/install/flink-cluster/native) 分布式批量数据同步组件PowerJob安装说明(  https://tis.pub/docs/install/powerjob/k8s) TIS Zeppeline NoteBook Installation安装说明 (https://tis.pub/docs/install/zeppelin) TIS是啥?​

2023-04-21

技术能力和应用能力。 Taier 是一款好用又强大的大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性。它让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂

2023-11-16

一款致力提高分布式业务系统一致性的分布式重试与任务调度平台 易用性 业务接入成本小。避免依赖研发人员的技术水平,保障稳定性 灵活性 能够动态调整配置,启动/停止任务,以及终止运行中的任务 操作简单&nbs

2023-11-15

闭问题 平台简介 RuoYi-Vue-Plus 是重写 RuoYi-Vue 针对 分布式集群与多租户 场景全方位升级(不兼容原框架) 项目代码、文档 均开源免费可商用 遵循开源协议在项目中保留开源协议文件即可 活到老写到老 为兴趣而开源 为

2022-09-04

软件的权利,包括不受限制地使用、复制、修改、合并、发布、分发、转授许可和/或出售该软件副本,以及再授权被配发了本软件的人如上的权利,须在下列条件下: 上述版权声明和本许可声明应包含在该软件的所有副本或实

2023-09-13

会精彩演讲回顾 介绍 Openjob 基于Akka架构的新一代分布式任务调度框架。支持多种定时任务、延时任务、工作流设计,采用无中心化架构,底层使用一致性分片算法,支持无限水平扩容。 高可靠 分布式无状

2023-11-16

代码格式化 代码书写与常规结构不同阅读障碍大 分布式注册中心 采用 Alibaba Nacos 源码集成便于调试扩展与二次开发 框架还为其增加了各种监控 采用 Alibaba Nacos 自行搭建纯官方版本不可靠 分布式配置中心 采用 Al

2024-08-02

、存储瓶颈、访存瓶颈以及通信瓶颈等问题逐渐凸显,对分布式训练和通用性能优化的需求日益迫切。 在产业化层面,框架又需要具备支持训练、压缩、推理一体化的全流程能力。这意味着,从模型的训练到优化,再到实际部