Kubeflow v1.7 发布,K8s 机器学习工具包


Kubeflow v1.7 可以利用开发者的 Python 知识来构建无缝的工作流程,而不需要 Kubernetes CLI 命令,也不需要为每次迭代构建容器镜像。通过多个组件中的新 UI,开发人员可以将配置参数与日志联系起来,这使他们能够快速分析结果。当与 Kubeflow 的 pythonic 工作流程和 Kubernetes 的运行效率相结合时,这些改进可以为模型开发人员节省大量的时间和精力。

Katib

Katib 包括对用户界面和 SDK 的新的改进。新的 Katib 用户界面提供了简化的细粒度配置和日志关联性。此外,还增加了排序和过滤功能,允许对你的许多实验进行更有组织的查看。此外,这些功能最大限度地减少了手动使用低级别的命令来定位和关联日志与 HyperParameter Experiment 配置的必要性。这简化了深入的性能分析和后续的模型参数迭代过程。

在 1.7 中,Katib SDK 提供了新的功能,包括 Tune API 和从 Katib 数据库中检索试验指标的能力。模型开发者或数据科学家可以执行 Tune API 来启动一个 HyperParameter Experiment,而不需要对底层系统(如 Kubernetes、Docker)有任何了解。它可以自动将用户训练脚本转换为 Katib Experiment。

Training operator

Kubeflow 的统一分布式 Training operator 的增强功能包括用于微调资源扩展的配置选项(处理器、内存、存储)。它现在包括对 Pytorch Elastic 工作负载的 HPA 支持,用户可以在 Job Spec 中指定目标指标/利用率。这用于自动扩大/缩小 Pytorch 作业的规模,以满足需求,同时确保用户配置的弹性策略。这些改进大大简化了用户的工作流程,并减少了操作上的繁琐和成本。

Pipelines

在 Kubeflow 1.7 中,Pipelines Working Group 通过最新的 2.0.0-alpha.7 版本继续努力实现 KFP v2。该版本包括以下主要改进:

  • 管线作为组件: 管线本身可以作为其他管线的组件使用,就像你在管线中使用任何其他单步组件一样
  • Sub-DAG 可视化,允许管道用户深入了解其管线的子图组件
  • 错误和漏洞的修复

更多详情可查看:https://github.com/kubeflow/kubeflow/releases/tag/v1.7.0


相關推薦

2023-04-27

目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习框架( Tensorflow,Pytorch )耦合需要写明例如 PS、Worker 等角色,容错和弹性调度支

2024-07-30

Simple Admin - Go 语言分布式后台管理系统 v1.5.2 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发小型到大型项目后台提供了丰富的功能,易于扩展,支持三端代码生成。 官方自带

2024-07-16

Simple Admin - Go 语言分布式后台管理系统 v1.5.0 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发小型到大型项目后台提供了丰富的功能,易于扩展,支持三端代码生成。 官方自带

2024-06-26

Simple Admin - Go 语言分布式后台管理系统 v1.4.8 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发小型到大型项目后台提供了丰富的功能,易于扩展,支持三端代码生成。 官方自带

2024-10-16

Apache SeaTunnel 2.3.8 版本现已正式发布!此次版本后,用户将可以使用期待已久的Docker镜像,还可以体验Job级别日志功能,以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容,欢迎更多开发者和

2022-08-25

一个核心的分布式运行时和一个用于加速 ML 工作负载的工具包(Ray AIR)组成。 Ray 2.0 是 Ray 的大幅度更新版本,对 Ray 生态中的所有库都进行了增强。通过这个重要的版本,Ray 朝着使分布式计算可扩展、统一和开放的目标大

2022-10-03

务注册并动态发现;可选择不启用,直接指定服务提供方机器地址通讯;选择启用时,内置可选方案:“XXL-REGISTRY 轻量级注册中心”(推荐)、“ZK注册中心”、“Local注册中心”等; 8、服务治理:提供服务治理中心,可在线

2022-09-03

TensorFlow 是一个用于机器学习的端到端开源平台。它有一个全面灵活的工具、库和社区资源所组成的生态,让开发人员轻松建立和部署由 ML 驱动的应用程序。TensorFlow 最初用于进行机器学习和深度神经网络研究。但该系统具有足

2024-08-07

Chain, LlamaIndex, Dify,以及 Chatbox。 🎉 Xinference 0.14.0发布! 基于helm 的 k8s 部署方式上线,模型加载现在可以指定 model path。 - 新增内置支持模型 📦   - embedding模型 gte-Qwen2-7B-instruct 🧠 - 新功能 🚀   - 官方支持基

2024-04-30

Simple Admin - Go 语言分布式后台管理系统 v1.4.1 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发中大型后台提供了丰富的功能,支持三端代码生成。 官方自带多种扩展,助力中小

2024-06-16

Simple Admin - Go 语言分布式后台管理系统 v1.4.6 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发中大型后台提供了丰富的功能,支持三端代码生成。 官方自带多种扩展,助力中小

2024-06-06

Simple Admin - Go 语言分布式后台管理系统 v1.4.4 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发中大型后台提供了丰富的功能,支持三端代码生成。 官方自带多种扩展,助力中小

2023-02-12

一个核心的分布式运行时和一个用于加速 ML 工作负载的工具包(Ray AIR)组成。 Ray 2.2 正式发布,该版本增强了可观察性、提高了数据密集型人工智能应用的性能、提高了稳定性,并为 RLlib 提供了更好的用户体验。 改善整个 Ra

2022-10-24

Waifu2x-Extension-GUI v3.95.31-beta 已经发布,机器学习多媒体处理应用。 ➡此为测试版, 点此获取稳定版 下载完整安装包: (PRC) OneDrive (不限速) | (PRC) 百度网盘 因本软件属于独立开发的项目, 没有给某些杀毒软件交过保护费, 所以