Xinference v0.12.2 正式发布


Xinference v0.12.2 正式发布! 🎉v0.12.2 得益于社区的贡献,稳定性得到了极大提高 🙏

新功能 🚀

  •   Qwen moe系列支持tool call 🔧
  •   rerank模型支持输出usage,兼容Cohere API 📊

BUG修复 🐛

  •   修复自定义rerank模型的问题 🛠️
  •   修复错误数量超过100chat接口不响应的问题 🐍

UI 相关 💻

  • 自定义模型启动页面的模型卡片上,可以查看自定义注册对应的json,同时支持修改 

相關推薦

2024-07-10

🎉 Xinference v0.13.0 正式发布!Apple M系列专用后端 MLX 来临,Mac 上加速高达 40% 🚀。目前已支持 qwen2 和 gemma-2。阿里云镜像也如约而至,且容量大幅缩减,解决大家在国内拉取 docker 的痛点。详细更新内容如下: - 新增内置支持

2024-08-15

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2024-08-07

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源

2023-09-20

苹果今天凌晨正式推送iOS 17 正式版更新,其内部版本号和上周 RC 版本相同,均为 21A329。 在全新的 iOS 17 系统中,苹果加入了待机显示功能,为充电时将iPhone横屏放置带来了焕然一新的全屏体验,不用靠近,信息也能一目了然

2022-12-14

Git 2.39 已正式发布。 新版本主要变化包括: 为git shortlog命令添加更灵活的--group选项 该选项支持按作者或提交者以外的字段对 commit 进行分组,例如 $ git shortlog -ns --group=author --group=trailer:co-authored-by 优化稀疏索引

2024-08-15

8月15日晚 19:00 deepin V23正式版将在 deepin 视频号、deepin B站 统信软件视频号 重磅直播发布 欢迎大家提前预约 共同见证 deepin V23 正式版 每一个精彩瞬间 相关阅读: (1)deepin 全版本镜像(含 deepin V15) (2

2023-08-25

聊聊 AI 大模型与底层技术 >>> Unity 官方宣布,Unity 中国正式推出 Unity 中国版引擎——团结引擎,同时也开启了 Unity 中国本土化进程的全新篇章。作为推动团结引擎落地的核心人物,Unity 中国 CEO 张俊波称致力于将其打造为一款

2022-07-15

Go 1.19 发布了第一个 RC 版本,正式版预计在 8 月推出。 主要变化 针对“泛型”的 Bugfix 更新内存模型,与 C、C++、Java、JavaScript、Rust 和 Swift 使用的内存模型保持一致 Go 1.19 在启动时将默认提高打开文件的限制值 Go 1.19

2022-08-01

发布 3 个版本,一直持续到 8 月底,然后在 9 月中旬推出正式版。目前正式版暂定的发布日期是 9 月 6 日,不过具体情况会根据 bug 修复和其他因素而改变。 LLVM 15 主要变化: 为 Debuginfod 添加 HTTP 服务器 完成初始的 

2023-04-20

Node.js 20 已正式发布,将于 10 月成为 LTS 版本。 值得关注的变化 引入权限控制模型 (Permission Model) Synchronous import.meta.resolve Test Runner 到达稳定状态 将 V8 JavaScript 引擎升级到 11.3 支持构建单一可执行应用程序 Ada 升级到

2022-10-19

Ash Framework 2.0 已正式发布。 Ash Framework 是用于构建 Elixir 应用程序的声明式、面向资源和可扩展的框架。在 Ash 中,资源可以对任何东西提供模型,如数据库表、外部 API,甚至是自定义代码。 Ash 提供了丰富而广泛的工具集,用

2022-08-26

ndows 和 Linux 设备。 正是从 2.0 版本开始,Cemu 在 GitHub 上正式开源。 主要变化 Cemu 现在正式开源 初步的 Linux 版本已经可以使用,但请注意,它现在仍然非常初步 展望未来,我们通过使用较短的版本号(2.0、2.1、2.2、2.3

2022-12-09

Eclipse 4.26 (2022-12) 已正式发布。 Eclipse 下载地址 https://download.eclipse.org/eclipse/downloads/drops4/R-4.26-202211231800/ 更新内容 https://www.eclipse.org/eclipse/news/4.26/ 升级已有安装版本(不要在生产环境进行) https://download.eclipse.org/eclipse/upd

2022-05-25

Chrome 102 已正式发布了! Chrome 102 添加了一个新的捕获句柄机制,允许应用程序选择将部分信息暴露给其他正在录制(捕获)它的视频录制应用。这个捕获句柄打开了录制软件和被录制应用之间的协作。 Chrome 102 的另一个新