苹果 MLX 框架新增 CUDA 支持

列 32 款 MLX 量化模型。 MLX 是开源机器学习框架，专为苹果芯片深度适配。MLX 框架可高效地训练和部署 AI 大模型，被越来越多的 AI 开发者采用。   为更好服务开发者，通义团队推出基于 MLX 框架深度优化的全部 Qwen3 系列

决大家在国内拉取 docker 的痛点。详细更新内容如下： - 新增内置支持模型 📦   - qwen2 gguf格式 📝   - gemma-2-it 💻 - 新功能 🚀     - transformers推理后端支持开启continuous batching(连续批处理)，优化LLM同时服

支持采用 PowerPC CPU 的 IBM 和摩托罗拉电脑，对更为流行的苹果 PowerPC 电脑的支持从未出现。 "maciNTosh" 目前只支持 Gossamer 架构下的 New World Power Macintosh 系统，即搭载 MPC106 “Grackle” 内存控制器、PCI 主机，以及 PCI 总线上 “He

OpenBMB推出了CPM.cu，这是一个轻量级且高效的开源CUDA推理框架，专为端侧大型语言模型（LLMs）的部署而设计，并为MiniCPM4提供优化，核心支持稀疏架构、投机采样和低位宽量化等前沿技术创新。 CPM.cu 亮点包括： 集成了InfLLM v

，以及一个可以轻松实现自定义内核和零拷贝接口的开发框架，以消除 AI 管道中的瓶颈。 因此，在 CV-CUDA 的帮助下可以实现更高的吞吐量和更低的计算成本。根据官方说法，它可以以相同的成本处理以往 10 倍的视频流数量。

ras3 库中 RWKV6 模块的 RWKV 核算子，这个算子在 jax、pytorch 框架提供了原生 CUDA 实现，但对于 TensorFlow 框架只提供基本的上层 api 实现。 RWKV6_Keras 算子 pip 包地址：https://pypi.org/project/rwkv6-keras-operator GitHub 仓库：https://github.com/i

增加对 krping 的修复，以通知睡眠中的线程移除设备 对 mlx5core、mlx5en(4) 和 mlx5ib(4) 进行了多项更新 添加了对 libusb(3) 和 xhci(4) 中的多项修复 针对 SCTP 和 TCP 的多项修复 详情查看发布公告。 自 12.3-RELEASE 以来的变更列表查

新型 Kubernetes 原生高性能分布式 LLM 推理框架 llm-d。 vLLM 最初由加州大学伯克利分校 Sky Computing 实验室开发，现已成为社区驱动的开源项目，为 LLM 推理和服务提供快速易用的库。该工具支持分布式部署和先

ce（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://

Hopper 和 Ada Lovelace GPU 的新功能、更新 C++ 方言、使 JIT LTO 支持官方、新的和改进的 API，以及各种其他功能。 CUDA 12.0 为 NVIDIA 的 Hopper 和 Ada Lovelace 架构的许多特性公开了可编程功能。 支持将虚拟内存管理 API 与标记为 CUDA_

12.2 发布了，CUDA 12.2 带来了许多变化，其中最重要的当数支持 Linux 内核的异构内存管理 (HMM) 功能。 HMM 允许在主机内存和加速器设备之间无缝共享数据， NVIDIA CUDA 12.2  的 HMM 支持依赖于 Linux 6.1.24+ 或 Linux 6.2.11+ 版本。此外

ce（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://

bsp;大会上，英伟达宣布其 CUDA 工具包将为 Python 提供原生支持并全面与之集成。 CUDA 架构师 Stephen Jones 在 GTC 技术演讲中对此表示，“我们一直在努力让加速计算与 Python 深度融合，使其成为 CUDA 技术栈中的‘一等公民’。”

发布了 CUDA 12.9 工具包，明确指出下个大版本发布将不再支持 Maxwell、Pascal、Volta 三大架构，而此前的 CUDA 12.8 版本已经有所预告。还在使用这些显卡从事 CUDA 开发工作的，这是最后一个支持版本了。 当然，普通用户无须担心