MiniCPM 端侧客户端正式发布并开源


MiniCPM 端侧客户端已正式发布。

  • 全面支持 Intel Core Ultra 系列处理器本地部署,低延迟、高效率、隐私更安全。
  • 基于 OpenVINO 推理框架深度优化,推理速度至高可达每秒 80 tokens!
  • 专为开发者、研究人员与 AI 爱好者打造的本地大模型新体验。

主要功能:

  • 支持 与模型进行文本&图片对话
  • 支持 调用Intel集成显卡加速
    支持模型:
    • MiniCPM 4.0 8B & 0.5B
    • MiniCPM 3.0 4B
    • MiniCPM-V 2.6 8B(多模态)
    • MiniCPM-V 2.0 2.8B(多模态)
    • MiniCPM-2B-128K
    • MiniCPM-1B-SFT-BF16

配置要求:

  • 建议使用英特尔酷睿 ultra7 及以上移动端处理器
  • 建议运行内存 32GB 及以上

下载地址:https://github.com/OpenBMB/MiniCPM/releases/tag/2.4.2


相關推薦

2024-08-08

面壁智能宣布「小钢炮」 MiniCPM-V 2.6 模型重磅上新——仅 8B 参数,取得 20B 以下单图、多图、视频理解 3 SOTA 成绩,一举将端侧AI多模态能力拉升至全面对标 GPT-4V 水平。 面壁智能表示,MiniCPM-V 2.6 模型将实时视频理解、多图联

2025-06-09

正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型,实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作,实现了长短文本多重推理效率的提升,端侧AI PC在Day

2025-06-20

架,专为端侧大型语言模型(LLMs)的部署而设计,并为MiniCPM4提供优化,核心支持稀疏架构、投机采样和低位宽量化等前沿技术创新。 CPM.cu 亮点包括: 集成了InfLLM v2可训练稀疏注意力内核,可加速长上下文预填充和解码;

2025-05-15

面壁智能团队发布了 AgentCPM-GUI —— 一个面向中文 APP 的端侧 GUI Agent,已在中文 Android 场景和开源 Benchmark 取得 SOTA 性能。 据介绍,与传统 Agent 相比,GUI Agent 更强调通过图形界面的窗口、按钮而非文本去执行用户指令进行交

2025-05-01

洋的水然后下去抓鱼吗? Assistant: <think> 使用 RWKV 端侧聊天 APP 我们也开发了处于内测阶段的 RWKV 端侧聊天 APP(Android 和 iOS 版本),可在下列地址下载 APP: Android : https://www.pgyer.com/rwkvchat iOS (TestFlight) : https://testflight

2024-08-24

能力 UOS AI接入了llama.cpp和OpenVINO推理框架,实现了本地端侧模型的部署。用户可以在本地设备上直接运行大型语言模型,并通过UOS AI进行管理和应用,增强了模型的可访问性和响应速度。 UOS AI API 面向开发者提供接入API,赋能

2024-08-28

数据 除了插件的进程数据传输,刘亨老师也对插件的客户端展示实现和服务端的实现进行了详细的介绍。 客户端与服务端的实现 插件实现效果   议题3:《LoongArch内核走过的这些年》——陈华才/龙芯中科内

2025-06-21

详细教程请在 RWKV 教程 - Ollama 推理 中查看。 RWKV Chat 端侧聊天助手 除了在 Ollama 中运行 RWKV 模型,我们也推荐使用 RWKV Chat 端侧聊天助手体验 RWKV 模型。 RWKV Chat 是 RWKV 官方推出的离线 AI 聊天应用,针对各类端侧设备进行深

2024-10-24

。详细请联系 📞 @李鹏 🆕 主要更新内容 1. 🎥 支持 minicpm base64 格式视频解析 2. 🚀 默认开启 SGLANG 引擎 3. 🔧 暴露删除运行实例的接口,便于处理数据不一致 4. 🛠️ 修复运行实例列表的一致性问题 5. 在社区版 v0.16.0 正式

2025-05-16

Stability AI 发布了一款名为 Stable Audio Open Small 的音频生成模型,可在手机端上运行。 Hugging Face:https://huggingface.co/stabilityai/stable-audio-open-small Stable Audio Open Small 是 Stability AI 与 Arm 公司合作的成果。该模型的训练集完全由免版

2025-05-14

苹果公司联合复旦大学,推出 StreamBridge 端侧视频大语言模型(Video-LLMs)框架,助力 AI 理解直播流视频。该框架通过内存缓冲区和轮次衰减压缩策略,支持长上下文交互。 该框架还引入了一个轻量化的独立激活模型,无缝集

2024-09-27

配置等方面具有更现代的设计。 AimRT 致力于整合机器人端侧、边缘端、云端等各种部署场景的研发。 它服务于现代基于人工智能和云的机器人应用,提供完善的调试和性能分析工具链,以及良好的可观测性支持。 AimRT 还提

2025-06-28

人协同协作。后续OceanGPT还可直接部署于海洋机器人上的端侧大模型,借助端侧大模型的推理能力进一步提升海洋装备的自主作业能力和作业效率。 据悉,目前OceanGPT已在浙江大学海鹰系列水下机器人平台上完成技术验证,实测

2025-05-23

接口(CLI)。部署能力现覆盖高性能推理、服务化部署及端侧部署三大场景。 适配飞桨框架 3.0,优化训练流程: 新版本已兼容飞桨 3.0 的 CINN 编译器等最新特性,静态图模型存储文件名由 xxx.pdmodel 改为 xxx.json