TensorFlow 2.10.0 已发布


TensorFlow 2.10 已经发布,此版本的亮点包括 Keras 中的用户友好功能,可帮助开发转换器、确定性和无状态初始化程序、优化器 API 的更新以及帮助加载音频数据的新工具。

此版本还通过 oneDNN 增强了性能,在 Windows 上扩展了 GPU 支持等等。此版本还标志着 TensorFlow 决策森林 1.0!

对 Keras 注意力层的扩展、统一掩码支持

从 TensorFlow 2.10 开始,对 Keras 注意力层的掩码处理,例如 tf.keras.layers.Attention、tf.keras.layers.AdditiveAttention 和 tf.keras.layers.MultiHeadAttention 进行了扩展和统一。特别添加了两个功能:

Causal attention 三个层现在都支持调用 use_causal_mask 参数 (AttentionAdditiveAttention 用于将 Causal 参数传递给 init)。

隐式屏蔽: Keras AttentionAdditiveAttention MultiHeadAttention 层现在支持隐式屏蔽 。( 需要在 tf.keras.layers.Embedding 中设置 mask_zero=True)。

结合起来简化了任何 Transformer 样式模型的实现。

新的 Keras Optimizer API

之前的 Tensorflow 2.9 版本在 tf.keras.optimizers.experimental 中发布了新版本的 Keras Optimizer API,它将替换 TensorFlow 2.11 中当前的 tf.keras.optimizers 命名空间。

为了将优化器命名空间正式切换到新 API,TensorFlow 2.10 的 tf.keras.optimizers.legacy 导出了所有当前的 Keras 优化器。大多数用户不会受到此更改的影响,请查看 API 文档,以检查工作流中使用的API 是否已更改。

确定性和无状态 Keras 初始化器

TensorFlow 2.10 使 Keras 初始化程序( tf.keras.initializers API)无状态和确定性,建立在无状态 TF 随机操作之上。从 TensorFlow 2.10 开始,种子和非种子 Keras 初始化程序在每次调用时(对于给定的变量形状)总是会生成相同的值。

无状态初始化器使 Keras 能够支持新功能,例如使用 DTensor 进行多客户端模型训练。

具有步级粒度的 BackupAndRestore 检查点

在之前的版本 Tensorflow 2.9 中,tf.keras.callbacks.BackupAndRestore Keras 回调将在 epoch 边界备份模型和训练状态。

在 Tensorflow 2.10 中,回调还可以每 N 个训练步骤备份一次模型。 但是,,当 BackupAndRestore 与 tf.distribute.MultiWorkerMirroredStrategy 一起使用时,分布式数据集迭代器状态将被重新初始化,并且在恢复模型时不会恢复。

从音频文件目录轻松生成音频分类数据集

现在可以使用新程序 tf.keras.utils.audio_dataset_from_directory ,从 .wav 文件目录轻松生成音频分类数据集。

只需将音频文件分类到每个文件类的不同目录中,一行代码将提供一个标记 tf.data.Dataset,可以将其传递给 Keras 模型。查看示例

EinsumDense 层转为稳定功能

einsum 函数是线性代数的瑞士军刀。 它可以有效而明确地描述各种各样的操作。 tf.keras.layers.EinsumDense 层为 Keras 带来了一些功能。

einsum、einops.rearrange 和 EinsumDense 层等操作基于描述输入和输出轴的字符串“方程”进行操作。 对于 EinsumDense,方程列出了输入参数的轴、权重的轴和输出的轴。

更多内容可以查看 Tensorflow 博客。


相關推薦

2022-05-20

TensorFlow 是一个用于机器学习的端到端开源平台。它有一个全面灵活的工具、库和社区资源所组成的生态,让开发人员轻松建立和部署由 ML 驱动的应用程序。TensorFlow 最初用于进行机器学习和深度神经网络研究。但该系统具有足

2023-03-27

TensorFlow 是一个用于机器学习的端到端开源平台。它有一个全面灵活的工具、库和社区资源所组成的生态,让开发人员轻松建立和部署由 ML 驱动的应用程序。 TensorFlow 最初用于进行机器学习和深度神经网络研究。但该系统具有

2022-09-03

TensorFlow 是一个用于机器学习的端到端开源平台。它有一个全面灵活的工具、库和社区资源所组成的生态,让开发人员轻松建立和部署由 ML 驱动的应用程序。TensorFlow 最初用于进行机器学习和深度神经网络研究。但该系统具有足

2023-04-27

资源利用率。 目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习框架( Tensorflow,Pytorch )耦合需要写明例如 PS、Worker 等角色,容错

2022-07-21

社区,支持不同的量子计算研究领域。这些库包括: TensorFlow Quantum:探索量子机器学习的工具。使用 TensorFlow Quantum,研究人员以每秒 1.1 petaflops(每秒 1.1 x 1015 次操作)的速度在 30 个量子位上训练了一个机器学习模型。

2023-06-29

支持的 OCR 相关任务。 docTR 0.6.0 发布了,doctr 0.6.0 需要 TensorFlow >= 2.9.0 或 PyTorch >= 1.8.0。 版本亮点: 与 Huggingface Hub 完全集成 从 Hub 加载: from doctr.io import DocumentFile from doctr.models import ocr_predictor, from_hub image = Docum

2023-06-20

用 C、C++ 和 Rust 编写 plugin !现在我们已经有 C++ 实现的 Tensorflow Lite plugin ,C++ 实现的 PyTorch plugin ,C++ 实现的 OpenVINO plugin ,C++ 实现的 eBPF plugin ,Rust 实现的 Rustls plugin 。 这些 plugin 将与之后的 component model 兼容,持续有效。

2023-11-17

开始更多地尝试使用 AI 模型。前几年,开发人员常使用 tensorflow/tensorflow、pytorch/pytorch 等机器学习库构建项目;现在则更多尝试使用 AI 模型和 LLM(如 ChatGPT API)。 报告分析了 GitHub 上排名前 20 位的开源生成式 AI 项目,发现

2023-10-26

不移动数据的情况下查询数据湖,StarRocks 都值得一试。 TensorFlow.js TensorFlow.js 将谷歌 TensorFlow 机器学习框架的强大功能打包到 JavaScript 软件包中,以最低的学习成本为 JavaScript 开发人员带来非凡的功能。你可以在浏览器、带有

2022-09-24

手减少对 Python 2 的依赖。比如  NumPy、Requests 和 TensorFlow 等许多知名项目在 2020 年停止支持 Python 2.x,而发行版中,先是Fedora 33 最早完全结束对 Python 2.6 的支持 ,紧接着 Ubuntu 20.04 LTS 移除 Python 2,Mageia 8 也移

2023-01-04

始着手减少对 Python 2 的依赖。比如 NumPy、Requests 和 TensorFlow 等许多知名项目在 2020 年停止支持 Python 2.x,而发行版中,先是 Fedora 33 最早完全结束对 Python 2.6 的支持 ,紧接着 Ubuntu 20.04 LTS 开始移除 Python 2,Mageia 8 也移

2023-04-08

持 WebGPU,查看 demo PlayCanvas 宣布初步支持 WebGPU TensorFlow.js 支持大多数运算符的 WebGPU 优化版本 Three.js 对 WebGPU 的支持正在进行中,查看示例 延伸阅读 WebGPU 毫无疑问会在未来取代 WebGL

2022-08-25

程序开发,提高了开发人员的速度,可与其他框架(如 Tensorflow、PyTorch、Hugging Face 等)进行互操作。 Ray 现在支持使用 Ray Datasets 库对 100TB 或更多的数据进行本地 shuffle KubeRay:是一个用于在 Kubernetes 上运行 Ray 的工具包,

2023-12-05

安装助手,支持智能推荐、一键安装PaddlePaddle、PyTorch、TensorFlow三种框架,后续还将支持更多主流AI框架及其套件的安装。 02 openKylin with AI 上线智能语音助手,用户可通过语音下达指令,无须键盘鼠标输入,即可触