PyTorch 2.0 现已正式发布!


PyTorch 2.0 现已发布!

新版本包括稳定版的 Accelerated Transformers(以前称为 Better Transformers);Beta 功能包括:

  • 使用 torch.compile 作为 PyTorch 2.0 的主要 API(有关 torch.compile 的全面介绍和技术概述,请访问 2.0 入门页面。)
  • scaled_dot_product_attention 函数作为 torch.nn.functional 的一部分
  • MPS 后端
  • torch.func 模块中的 functorch API
  • 以及 GPU 和 CPU 上各种推理、性能和训练优化功能的其他 Beta/Prototype 改进。

新功能的概括介绍:

  • torch.compile 是 PyTorch 2.0 的主要 API,它包装并返回编译后的模型,torch.compile 是一个完全附加(和可选)的特性,因此 2.0 版本是 100% 向后兼容的。
  • 作为 torch.compile 的基础技术,带有 Nvidia 和 AMD GPU 的 TorchInductor 将依赖 OpenAI Triton 深度学习编译器来生成高性能代码,并隐藏低级硬件细节。OpenAI Triton 生成的内核实现的性能,与手写内核和 cublas 等专门的 cuda 库相当。
  • Accelerated Transformers 引入了对训练和推理的高性能支持,使用自定义内核架构实现缩放点积注意力 (SPDA)。API 与 torch.compile() 集成,模型开发人员也可以通过调用新的 scaled_dot_product_attention() 运算符,直接使用缩放的点积注意力内核。
  • Metal Performance Shaders (MPS) 后端在 Mac 平台上提供 GPU 加速的 PyTorch 训练,并增加了对前 60 个最常用操作的支持,覆盖了 300 多个操作符。
  • Amazon AWS 优化了基于 AWS Graviton3的 C7g 实例上的 PyTorch CPU 推理。与之前的版本相比,PyTorch 2.0 提高了 Graviton 的推理性能,包括对 Resnet50 和 Bert 的改进。
  • 跨 TensorParallel、DTensor、2D parallel、TorchDynamo、AOTAutograd、PrimTorch 和 TorchInductor 的新原型功能和技术。

除了 PyTorch 2.0 ,PyTorch 官方还发布了 PyTorch 域库的一系列 beta 更新,包括那些在树中的库,以及包括 TorchAudio、TorchVision 和 TorchText 在内的独立库。TorchX 转向社区支持模式,正在发布更新。可以在该博客中找到更多详细信息。

PyTorch 2.0 官方发布公告中对 2.0 的每个新特性作了详细介绍。


相关文章

2022-12-04

PyTorch 团队在昨日举办的 2022 PyTorch Conference 大会上宣布了 PyTorch 2.0,提供了用于体验的早期版本,并表示稳定版将于 2023 年 3 月上旬发布。 团队介绍道,PyTorch 2.0 是他们向 PyTorch 下一代 2 系列迈出的第一步。在过去的几年里

2022-09-14

MD、AWS、谷歌云、微软和 NVIDIA 等大厂的联合推动下,PyTorch 基金会成立了。PyTorch 基金会隶属于 Linux 基金会,其管理委员会由上述六个公司的代表组成。 PyTorch 是一个由  Meta (原 Facebook)开源的 Python机器学习库,基

2022-08-25

,提高了开发人员的速度,可与其他框架(如 Tensorflow、PyTorch、Hugging Face 等)进行互操作。 Ray 现在支持使用 Ray Datasets 库对 100TB 或更多的数据进行本地 shuffle KubeRay:是一个用于在 Kubernetes 上运行 Ray 的工具包,现在是 Beta

2023-03-16

1+cu117- torch.__version__= '1.13.0+cu117'- export NVIDIA_TF32_OVERRIDE=0# PyTorch使用FP32训练 # 测试指令:# OneFlow后端python train.py \--batch-size 8 \--data coco.yaml \--weights ' ' \--cfg models/yolov5s.yaml \--img 640 \--epochs 1\--bbox_iou_optim --multi_tensor_optimize python segmen

2023-04-27

少存在某些问题,如与固定的机器学习框架( Tensorflow,Pytorch )耦合需要写明例如 PS、Worker 等角色,容错和弹性调度支持不友好,不支持异构调度,调度语义较为简单,不支持文件读取等。   将算法工程师从此类繁重

2022-09-30

更简单地添加英特尔发行版 OpenVINO 工具套件。 PyTorch* 中的模型推理现在通过全新的 OpenVINO™ 与 Torch-ORT 的集成得到加速。PyTorch 的开发人员可以更无缝地与 OpenVINO 集成,并通过更少的代码更改来获得性能收益。

2022-08-11

EA,而无需担心底层细节的软件工具集。 EvoTorch 则基于 PyTorch 和 Ray 软件包所构建,“为研究人员、开发人员和工业制造商提供强大的 EA,无需额外工作即可跨 CPU 或 GPU 进行并行化,从而加快优化并最大限度地降低成本......EvoT

2023-02-19

SQLAlchemy 2.0.4 现已发布。 2.0.4 版为 2.0 系列提供了一些新功能,包括对 Pydantic 数据类的插件支持、改进的混合属性类型结构,以及在使用 ORM 声明映射时显式控制表列排序顺序的能力。 详情可查看 Changelog。 下载地址:https://ww

2023-03-30

理解机本身是一个框架,具体的机器学习能力由理解机的PyTorch插件实现。 本次发布提供的PyPI包 ligavision==0.3.0 liga-pytorch==0.3.0 liga-tv==0.3.0 本次发布提供的七个可执行的Notebook 可以直接在Gitee预览这七个Notebook。 https://gite

2022-10-09

欢迎任何有兴趣的芯片供应商能够为它做出贡献。” 与 PyTorch 中的 Eager 模式相比,Meta 使用 AIT 在 Nvidia A100 AI GPU 上实现了高达 12 倍的性能提升,在 AMD M1250 GPU 上实现了高达 4 倍的性能提升。 Meta 主导的 AIT 在概念与 SYCL 十

2022-06-04

OpenSearch 2.0 现已正式发布!此版本融合了来自整个 OpenSearch 社区的用户反馈和贡献,以提供大量新功能和性能增强。我们非常感谢社区为构建分布式搜索和分析工具集而做出的协作努力,这些工具集具有开发人员可以依赖的功能

2022-10-19

Ash Framework 2.0 已正式发布。 Ash Framework 是用于构建 Elixir 应用程序的声明式、面向资源和可扩展的框架。在 Ash 中,资源可以对任何东西提供模型,如数据库表、外部 API,甚至是自定义代码。 Ash 提供了丰富而广泛的工具集,用

2023-05-04

经过漫长的测试,foobar2000 正式发布了 2.0 版本——又是一个有生之年系列,标志着 foobar2000 发布 21 年后终于进入 2.0。 下载地址 Windows:https://www.foobar2000.org/download Mac:https://www.foobar2000.org/mac foobar2000 是一款免费的高级

2022-08-26

ndows 和 Linux 设备。 正是从 2.0 版本开始,Cemu 在 GitHub 上正式开源。 主要变化 Cemu 现在正式开源 初步的 Linux 版本已经可以使用,但请注意,它现在仍然非常初步 展望未来,我们通过使用较短的版本号(2.0、2.1、2.2、2.3