Kubeflow v1.7 发布,K8s 机器学习工具包


Kubeflow v1.7 可以利用开发者的 Python 知识来构建无缝的工作流程,而不需要 Kubernetes CLI 命令,也不需要为每次迭代构建容器镜像。通过多个组件中的新 UI,开发人员可以将配置参数与日志联系起来,这使他们能够快速分析结果。当与 Kubeflow 的 pythonic 工作流程和 Kubernetes 的运行效率相结合时,这些改进可以为模型开发人员节省大量的时间和精力。

Katib

Katib 包括对用户界面和 SDK 的新的改进。新的 Katib 用户界面提供了简化的细粒度配置和日志关联性。此外,还增加了排序和过滤功能,允许对你的许多实验进行更有组织的查看。此外,这些功能最大限度地减少了手动使用低级别的命令来定位和关联日志与 HyperParameter Experiment 配置的必要性。这简化了深入的性能分析和后续的模型参数迭代过程。

在 1.7 中,Katib SDK 提供了新的功能,包括 Tune API 和从 Katib 数据库中检索试验指标的能力。模型开发者或数据科学家可以执行 Tune API 来启动一个 HyperParameter Experiment,而不需要对底层系统(如 Kubernetes、Docker)有任何了解。它可以自动将用户训练脚本转换为 Katib Experiment。

Training operator

Kubeflow 的统一分布式 Training operator 的增强功能包括用于微调资源扩展的配置选项(处理器、内存、存储)。它现在包括对 Pytorch Elastic 工作负载的 HPA 支持,用户可以在 Job Spec 中指定目标指标/利用率。这用于自动扩大/缩小 Pytorch 作业的规模,以满足需求,同时确保用户配置的弹性策略。这些改进大大简化了用户的工作流程,并减少了操作上的繁琐和成本。

Pipelines

在 Kubeflow 1.7 中,Pipelines Working Group 通过最新的 2.0.0-alpha.7 版本继续努力实现 KFP v2。该版本包括以下主要改进:

  • 管线作为组件: 管线本身可以作为其他管线的组件使用,就像你在管线中使用任何其他单步组件一样
  • Sub-DAG 可视化,允许管道用户深入了解其管线的子图组件
  • 错误和漏洞的修复

更多详情可查看:https://github.com/kubeflow/kubeflow/releases/tag/v1.7.0


相關推薦

2023-04-27

目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习框架( Tensorflow,Pytorch )耦合需要写明例如 PS、Worker 等角色,容错和弹性调度支

2022-08-25

一个核心的分布式运行时和一个用于加速 ML 工作负载的工具包(Ray AIR)组成。 Ray 2.0 是 Ray 的大幅度更新版本,对 Ray 生态中的所有库都进行了增强。通过这个重要的版本,Ray 朝着使分布式计算可扩展、统一和开放的目标大

2022-10-03

务注册并动态发现;可选择不启用,直接指定服务提供方机器地址通讯;选择启用时,内置可选方案:“XXL-REGISTRY 轻量级注册中心”(推荐)、“ZK注册中心”、“Local注册中心”等; 8、服务治理:提供服务治理中心,可在线

2022-09-03

TensorFlow 是一个用于机器学习的端到端开源平台。它有一个全面灵活的工具、库和社区资源所组成的生态,让开发人员轻松建立和部署由 ML 驱动的应用程序。TensorFlow 最初用于进行机器学习和深度神经网络研究。但该系统具有足

2024-04-30

Simple Admin - Go 语言分布式后台管理系统 v1.4.1 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发中大型后台提供了丰富的功能,支持三端代码生成。 官方自带多种扩展,助力中小

2022-10-24

Waifu2x-Extension-GUI v3.95.31-beta 已经发布,机器学习多媒体处理应用。 ➡此为测试版, 点此获取稳定版 下载完整安装包: (PRC) OneDrive (不限速) | (PRC) 百度网盘 因本软件属于独立开发的项目, 没有给某些杀毒软件交过保护费, 所以

2023-02-12

一个核心的分布式运行时和一个用于加速 ML 工作负载的工具包(Ray AIR)组成。 Ray 2.2 正式发布,该版本增强了可观察性、提高了数据密集型人工智能应用的性能、提高了稳定性,并为 RLlib 提供了更好的用户体验。 改善整个 Ra

2023-12-01

微软近日正式发布 ML.NET 3.0,带来了许多新功能和改进。 ML.NET 是一个开源、跨平台的机器学习框架,专为 .NET 开发者设计,可以将自定义的机器学习模型集成到 .NET 应用程序中。 在这个版本中,深度学习方案得到了大幅

2022-09-03

1959 年首次发布的 COBOL 是现存最古老的编程语言之一,目前仍广泛应用于多个行业的关键程序之中。2022 年 2 月的一项调查发现,每天仍有 775 亿至 8500 亿行 COBOL 代码在活跃地使用。 然而,尽管许多组织尚依赖 COBOL,但 COBOL 开

2023-07-25

据外媒报道,苹果已在内部使用人工智能(AI)聊天机器人Apple GPT来帮助员工工作,该公司也可能考虑将其用于客户支持。 上周,外媒报道称,随着OpenAI旗下AI聊天机器人ChatGPT和谷歌旗下AI聊天机器人Bard的兴起,苹果也在开发

2022-02-23

GitHub 推出了一项由机器学习驱动的新代码扫描分析功能,该代码扫描功能可以针对四种常见漏洞模式显示警报:跨站点脚本 (XSS)、路径注入、NoSQL 注入和 SQL 注入。 新的代码扫描功能由 CodeQL 分析引擎提供支持,启用 CodeQ

2023-03-09

年,该项目于 2022 年 4 月正式开源。 Feathr 1.0 近日正式发布,具有以下新功能: 新功能 Feathr 沙盒:Feathr 沙盒是一个预先配置好的环境,可以用来学习如何使用 Feathr、带有实验性功能,并在本地建立概念验证的应用程序,

2022-08-11

父 Juergen Schmidhuber 创办的人工智能公司 NNAISENSE 宣布正式发布其 EvoTorch 开源进化算法库。根据介绍,这是同类中的首个开源平台,为工业界提供了一个进化算法包 (evolutionary algorithm,EA);当与机器学习专业知识相结合时,可以在

2023-07-18

CL 团队很高兴地宣布 KCL v0.5.0 新版本现在已经可用!本次发布为大家带来了三方面的重点更新:语言、工具链、社区集成 & 扩展支持。 使用功能更完善错误更少的 KCL 语言和 IDE 提升代码编写体验和效率 使用 KPM, KCL OpenAPI