Ollama v0.8.0 发布,支持通过工具调用进行流式响应


Ollama v0.8.0 已发布,新版本带来了通过工具调用进行流式响应 (Streaming responses with tool calling) 功能,让开发者构建的聊天应用从此能够像流式输出普通文本一样,实时地调用工具并展示结果。

这一更新使得所有聊天应用都能够在模型生成内容的同时,实时地调用外部工具,并将整个过程(包括模型的思考、工具的调用指令、以及最终的文本回复)流畅地展示给用户。

该功能已在 Ollama 的 Python 和 JavaScript 库以及 cURL API 中得到全面支持。

Ollama v0.8.0 的更新亮点包括:

  1. 即时工具调用与内容流式输出: 应用不再需要等待模型完整响应后才能处理工具调用,模型生成内容和工具调用指令可以同步、分块地流式传输。

  2. 全新智能增量解析器: Ollama 构建了新的解析器,它专注于理解工具调用的结构,而不仅仅是寻找JSON。这使得Ollama能够:

    • 实时分离: 在流式输出用户内容的同时,准确检测、抑制和解析工具调用相关的Token。

    • 兼容广泛模型: 无论模型是否经过工具特定Token的训练,都能有效工作,甚至能处理模型输出的部分前缀或在必要时回退到JSON解析。

    • 提升准确性: 通过前缀匹配和状态管理,显著改善了工具调用的可靠性,避免了以往可能出现的重复或错误解析问题。

  3. 广泛的模型支持: 包括 Qwen 3, Devstral, Qwen2.5 系列, Llama 3.1, Llama 4 等众多支持工具调用的模型。

  4. 开发者友好的集成: 提供了清晰的 cURL, Python, JavaScript 示例,方便快速上手。

  5. 模型上下文协议 (MCP) 增强: 使用 MCP 的开发者现在也可以享受流式聊天内容和工具调用的好处,并且官方建议使用更大的上下文窗口(如 32k)可以进一步提升工具调用的性能和结果质量。


来源:

https://mp.weixin.qq.com/s/k16PRepQHeCp_1FMpfzuxA

https://ollama.com/blog/streaming-tool

https://x.com/ollama/status/1927835844754194638


相關推薦

2023-08-25

npm 客户端,以及 fetch、WebSocket等 Web API。 Bun 刚刚发布了 v0.8.0,新版本主要变化: 添加调试器支持 Bun 通过 WebKit 的 Inspector Protocol 实现了调试器支持。要使用它,需开启--inspectflag 运行文件或脚本。 实现 fetch stream

2025-04-08

离线运行。它支持多种 LLM(大型语言模型)运行器,如Ollama和OpenAI兼容 API,并内置了用于 RAG 的推理引擎,使其成为一个强大的 AI 部署解决方案。 上周发布的 0.6.0 包括如下变化: 通过 OpenAPI 支持外部工具服务器:立即将

2025-04-30

ctorDB 写入不再限制强类型,支持更多链路) 支持 Ollama、ZhipuAI 等大模型用于向量嵌入与对话应用 支持 RagApi 请求参数 showReasoning=true,开启思维链(Reasoning)展示 支持 RagApi 流式对话,兼容 OpenAI、LocalAI、Olla

2025-04-08

1:11434/api/chat" # 使用完整地址(而不是 api_base) provider: "ollama" # 使用 ollama 服务时,需要配置 provider model: "llama3.2" # 或 deepseek-r1:7b 效果测试 @Configuration public class DemoConfig { @Bean public ChatModel build(@Inject("${solon.ai.chat.demo}") ChatCon

2025-04-18

发布了CodeLlama-7B-QML和CodeLlama-13B-QML作为他们在HuggingFace和Ollama上微调的模型,这些模型基于额外的QML代码片段进行训练。 Qt AI Assistant v0.9还增加了流式文本支持,以便更好地逐段处理大型语言模型的响应。同时,还引入了利用AI

2025-04-10

www.focusany.com下载对应系统 安装包,一键安装即可。 目前支持 Windows、MacOS、Linux 系统。 本次更新 v0.8.0 浮动窗口支持窗口快捷切换,已知问题优化处理 新增:浮动窗口支持窗口快捷切换,便于窗口快速管理 新增:请

2025-05-22

辑上得到文档的支持。可以使用 Bespoke 的 Minicheck(通过 Ollama)等小型模型来运行此模型,这比每次检查都使用 GPT-4 之类的工具要便宜得多。 可以在参考文档的部分中阅读更多信息。  Spring AI 可以轻松观察模型的运行情

2023-08-26

会」北京站,聊聊 AI 大模型与底层技术 >>> Bun v0.8.1版本发布。这一版在0.8.0发布一天后发布,重点主要是修复了多个存在的问题和bug。 首先,新版本解决了一个很关键的问题:在处理格式错误的版本名时,bun install会崩溃。这

2025-05-17

面客户端,兼容 Windows、Mac 和 Linux 系统。 该项目近日发布新版本 v1.3.0,包含了大量变更。 一、新增功能亮点 v1.3.0 在模型支持、核心体验及界面交互等方面均有显著增强: 模型与服务商拓展: 新增 Grok / X 

2024-08-29

引入了MaxKB作为自身知识库问答系统的核心系统,并结合Ollama搭建的本地私有大模型,构建了AI工具——即“信用AI助手”,并创新性地将“信用AI助手”嵌入到深圳信用网的页面中,为用户提供更加智能、便捷的信用信息查询服

2023-12-02

队很高兴地宣布 KCL v0.7.0 新版本现在已经可用!本次发布为大家带来了三方面的重点更新:语言、工具链、社区集成 & 扩展支持。 使用功能更完善错误更少的 KCL 语言、工具链和 IDE 提升代码编写体验和效率 全新的 KC

2024-06-14

DriverBox v0.8.0 已经发布,Go 编写的边缘设备接入框架 此版本更新内容包括: 新特性:场景联动 新特性:镜像设备 新特性:运行时动态新增设备 新特性:设备驱动库,实现设备驱动的集中管理与高效复用。 新特性:增

2022-10-04

Neovim v0.8.0 已发布。 主要特性变化 runtime: Enable filetype.lua by default (#19216) Add undo! Add "prerelease" to version dict Click support for 'statusline', 'winbar' #18650 Add preview functionality to user commands allow Cmdheight=0 (EXPERIMENTAL) #16251

2024-05-31

态 Google Gemini Pro 1.5 pro、flash 等 Anthropic function calling Ollama 多模态支持 改进了 streaming function calling 支持 - Grogdunn 新的 Vector Stores Apache Cassandra - michaelsembwever Elastic Search - JM-Lab MongoDB Atlas - Kirbstomper