Xinference v0.12.2 正式发布


Xinference v0.12.2 正式发布! 🎉v0.12.2 得益于社区的贡献,稳定性得到了极大提高 🙏

新功能 🚀

  •   Qwen moe系列支持tool call 🔧
  •   rerank模型支持输出usage,兼容Cohere API 📊

BUG修复 🐛

  •   修复自定义rerank模型的问题 🛠️
  •   修复错误数量超过100chat接口不响应的问题 🐍

UI 相关 💻

  • 自定义模型启动页面的模型卡片上,可以查看自定义注册对应的json,同时支持修改 

相關推薦

2024-10-24

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-07-10

🎉 Xinference v0.13.0 正式发布!Apple M系列专用后端 MLX 来临,Mac 上加速高达 40% 🚀。目前已支持 qwen2 和 gemma-2。阿里云镜像也如约而至,且容量大幅缩减,解决大家在国内拉取 docker 的痛点。详细更新内容如下: - 新增内置支持

2024-09-25

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-08-15

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-10-16

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-10-04

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-08-07

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-10-01

语音识别、语音合成模型,支持对接阿里云百炼大模型、Xinference以及本地模型的重排模型。 X-Pack增强包方面,MaxKB v1.6专业版支持一键接入企业微信、钉钉、飞书和微信公众号;在外观设置方面,MaxKB支持自定义主题色和项目信

2024-10-24

,我国首个国产移动操作系统——华为原生鸿蒙操作系统正式发布,这是鸿蒙历史上最大的一次升级,鸿蒙系统由此成为继苹果iOS和安卓系统后,全球第三大移动操作系统。 华为在2017年对鸿蒙内核完成技术验证,2018年进行终

2023-09-20

苹果今天凌晨正式推送iOS 17 正式版更新,其内部版本号和上周 RC 版本相同,均为 21A329。 在全新的 iOS 17 系统中,苹果加入了待机显示功能,为充电时将iPhone横屏放置带来了焕然一新的全屏体验,不用靠近,信息也能一目了然

2022-12-14

Git 2.39 已正式发布。 新版本主要变化包括: 为git shortlog命令添加更灵活的--group选项 该选项支持按作者或提交者以外的字段对 commit 进行分组,例如 $ git shortlog -ns --group=author --group=trailer:co-authored-by 优化稀疏索引

2024-08-15

8月15日晚 19:00 deepin V23正式版将在 deepin 视频号、deepin B站 统信软件视频号 重磅直播发布 欢迎大家提前预约 共同见证 deepin V23 正式版 每一个精彩瞬间 相关阅读: (1)deepin 全版本镜像(含 deepin V15) (2

2022-07-15

Go 1.19 发布了第一个 RC 版本,正式版预计在 8 月推出。 主要变化 针对“泛型”的 Bugfix 更新内存模型,与 C、C++、Java、JavaScript、Rust 和 Swift 使用的内存模型保持一致 Go 1.19 在启动时将默认提高打开文件的限制值 Go 1.19

2023-08-25

聊聊 AI 大模型与底层技术 >>> Unity 官方宣布,Unity 中国正式推出 Unity 中国版引擎——团结引擎,同时也开启了 Unity 中国本土化进程的全新篇章。作为推动团结引擎落地的核心人物,Unity 中国 CEO 张俊波称致力于将其打造为一款