🚀 Xinference v1.4.0|探索 Gemma-3与 DeepSeek-v3 强大功能!


Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
 
Xinference 的功能和亮点有:

  •  🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
  •  ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中!
  •  🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐!
  •  ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。
  •  🌐 集群计算,分布协同:支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。
  • 🔌 开放生态,无缝对接:与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。

Xinference v1.4.0 发布 🚀!

✨ Gemma-3 模型重磅来袭,DeepSeek-v3 现已支持 Function Calling!
🎉 社区贡献者突破 100+!感谢大家的支持,期待更多伙伴加入贡献代码 💪💖。

🌍 社区版

📌 更新指南
* Pip:pip install 'xinference==1.4.0’
* Docker:拉取最新版本即可,或在镜像内使用 pip 更新。

📝 更新日志

🔥 新模型
* LLM:
    * Gemma-3-it ✨
        * 注意:需要安装特定版本的 transformers 👉 pip install git+https://github.com/huggingface/[email protected]
        * 
🚀 新功能
* 优化 xllamacpp 后端异常处理 ⚡
* 新增 HTTP 请求身份验证指南 🔐
* 新增 xllamacpp 相关文档 📖
* 新增 DeepSeek v3 函数调用 🛠
* 支持 DeepSeek 流式 API 🌊
🐞 BUG 修复
* 修复 MLX VL 模型的 max_tokens 🎯
* 修复 Internvl2.5-mpo awq,修正型号卡信息拼写错误 ✍
* 修复 vLLM 参数 "enable_prefix_caching" ⚙
* 修复 QWEN2.5-32B-GPTQ-int4 解析 token 错误 🔄
🎨 UI 相关
* 移除 llama.cpp 对 n_gpu 的 model_format 限制 🖥
* 调整 “GPU 数量” 文字描述为 “每个副本的 GPU 数量” 🎛


🏢 企业版

* K8s 现支持使用 Helm Charts 部署企业版集群 ⛵
* 更多 UI & 性能优化,体验更丝滑 🚀


我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持,也欢迎更多使用者和开发者参与体验和使用 Xinference。
 
欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在 GitHub 上及时收到每个新版本的通知。


相關推薦

2025-03-26

上新!DeepSeek-V3重磅升级 昨夜,DeepSeek-V3迎来一波更新,升级至「DeepSeek-V3-0324」版本。 不仅将模型参数量由原版的671B提升至685B,编程、数学等推理思考能力大幅提升,性能表现可以与Claude 3.5/3.7 Sonnet相媲美。同时,模型的开

2024-10-04

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-10-16

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-10-24

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-08-15

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-09-25

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-08-07

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2023-07-12

支持单管理员多角色 支持管理子级数据或个人数据 强大的一键生成功能 一键生成 CRUD, 包括控制器、模型、视图、JS、语言包、菜单、回收站等 一键压缩打包 JS 和 CSS 文件,一键 CDN 静态资源部署 一键生成控制器菜

2025-03-27

DeepSeek-V3 模型近日进行了更新,虽然大家都说更新后的 DeepSeek-V3-0324 强到没边——哪怕叫 DeepSeek V3.5 也不为过,但官方仍低调地称其是“小版本升级”。 下面是官方针对 DeepSeek-V3-0324 发布的更新说明。 DeepSeek V3 模型已完成

2025-03-20

lama 是开源跨平台大模型工具,让运行 Llama 3、DeepSeek-R1、Gemma 3 以及其他大语言模型变得更容易,现已发布最新版本 0.6.2。 Ollama 是一个开源的本地大语言模型运行框架,简化了利用 llama.cpp 后端运行各种 LLM 以及与其他桌面软

2024-07-10

🎉 Xinference v0.13.0 正式发布!Apple M系列专用后端 MLX 来临,Mac 上加速高达 40% 🚀。目前已支持 qwen2 和 gemma-2。阿里云镜像也如约而至,且容量大幅缩减,解决大家在国内拉取 docker 的痛点。详细更新内容如下: - 新增内置支持

2023-12-02

昆仑管理系统 v1.4.0 发布了! 更新日志 1、升级 Umi 版本至4.x; 2、升级 Antd 版本至5.x,并更新其他组件版本; 3、登录页面调整; 4、优化并修复前端及后台若干问题 。 系统介绍 昆仑管理系统是一套基于前后端分离架

2024-08-02

式推出专业版。MaxKB专业版在社区版基础上提供X-Pack增强功能,目前首批推出的增强功能包括:支持自定义系统Logo和主题,支持问答对话框的个性化设置,支持LDAP登录认证,以及提供开放的API。 自2024年4月发布至今,MaxKB开源

2024-06-23

Xinference v0.12.2 正式发布! 🎉v0.12.2 得益于社区的贡献,稳定性得到了极大提高 🙏 新功能 🚀   Qwen moe系列支持tool call 🔧   rerank模型支持输出usage,兼容Cohere API 📊 BUG修复 🐛   修复自定义rerank模型的问题