MiniCPM 端侧客户端正式发布并开源


MiniCPM 端侧客户端已正式发布。

  • 全面支持 Intel Core Ultra 系列处理器本地部署,低延迟、高效率、隐私更安全。
  • 基于 OpenVINO 推理框架深度优化,推理速度至高可达每秒 80 tokens!
  • 专为开发者、研究人员与 AI 爱好者打造的本地大模型新体验。

主要功能:

  • 支持 与模型进行文本&图片对话
  • 支持 调用Intel集成显卡加速
    支持模型:
    • MiniCPM 4.0 8B & 0.5B
    • MiniCPM 3.0 4B
    • MiniCPM-V 2.6 8B(多模态)
    • MiniCPM-V 2.0 2.8B(多模态)
    • MiniCPM-2B-128K
    • MiniCPM-1B-SFT-BF16

配置要求:

  • 建议使用英特尔酷睿 ultra7 及以上移动端处理器
  • 建议运行内存 32GB 及以上

下载地址:https://github.com/OpenBMB/MiniCPM/releases/tag/2.4.2


相關推薦

2024-08-08

面壁智能宣布「小钢炮」 MiniCPM-V 2.6 模型重磅上新——仅 8B 参数,取得 20B 以下单图、多图、视频理解 3 SOTA 成绩,一举将端侧AI多模态能力拉升至全面对标 GPT-4V 水平。 面壁智能表示,MiniCPM-V 2.6 模型将实时视频理解、多图联

2025-06-09

正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型,实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作,实现了长短文本多重推理效率的提升,端侧AI PC在Day

2025-06-20

架,专为端侧大型语言模型(LLMs)的部署而设计,并为MiniCPM4提供优化,核心支持稀疏架构、投机采样和低位宽量化等前沿技术创新。 CPM.cu 亮点包括: 集成了InfLLM v2可训练稀疏注意力内核,可加速长上下文预填充和解码;

2025-07-30

平台,优化并支持RWKV最新模型架构,共同推动大模型在端侧设备的低资源占用部署。 端侧大模型迎来“轻”革命!移远通信 × RWKV 打造“轻量AI大脑” 凭借RWKV架构“资源占用和推理速度恒定”的特性,RWKV系列模型在端侧部

2025-05-15

面壁智能团队发布了 AgentCPM-GUI —— 一个面向中文 APP 的端侧 GUI Agent,已在中文 Android 场景和开源 Benchmark 取得 SOTA 性能。 据介绍,与传统 Agent 相比,GUI Agent 更强调通过图形界面的窗口、按钮而非文本去执行用户指令进行交

2025-08-08

键词”。 十大关键词分别是通用智能体、专用智能体、端侧智能体、企业级智能体、智能体平台、智能体通信协议、多智能体协同、智能体价值评估、智能体可信、智能体基准测试。 一、通用智能体:面面俱到的“数字通才

2025-07-29

汤“开悟”世界模型为核心引擎,依托商汤大装置提供的端侧和云侧算力支持,目标为机器人、智能设备赋予感知、视觉导航及多模态交互能力。 「悟能」具身智能平台能为各类终端硬件赋予对万物的识别与理解能力,可嵌

2025-05-01

洋的水然后下去抓鱼吗? Assistant: <think> 使用 RWKV 端侧聊天 APP 我们也开发了处于内测阶段的 RWKV 端侧聊天 APP(Android 和 iOS 版本),可在下列地址下载 APP: Android : https://www.pgyer.com/rwkvchat iOS (TestFlight) : https://testflight

2024-10-24

。详细请联系 📞 @李鹏 🆕 主要更新内容 1. 🎥 支持 minicpm base64 格式视频解析 2. 🚀 默认开启 SGLANG 引擎 3. 🔧 暴露删除运行实例的接口,便于处理数据不一致 4. 🛠️ 修复运行实例列表的一致性问题 5. 在社区版 v0.16.0 正式

2024-08-28

数据 除了插件的进程数据传输,刘亨老师也对插件的客户端展示实现和服务端的实现进行了详细的介绍。 客户端与服务端的实现 插件实现效果   议题3:《LoongArch内核走过的这些年》——陈华才/龙芯中科内

2024-08-24

能力 UOS AI接入了llama.cpp和OpenVINO推理框架,实现了本地端侧模型的部署。用户可以在本地设备上直接运行大型语言模型,并通过UOS AI进行管理和应用,增强了模型的可访问性和响应速度。 UOS AI API 面向开发者提供接入API,赋能

2025-06-21

详细教程请在 RWKV 教程 - Ollama 推理 中查看。 RWKV Chat 端侧聊天助手 除了在 Ollama 中运行 RWKV 模型,我们也推荐使用 RWKV Chat 端侧聊天助手体验 RWKV 模型。 RWKV Chat 是 RWKV 官方推出的离线 AI 聊天应用,针对各类端侧设备进行深

2025-05-16

Stability AI 发布了一款名为 Stable Audio Open Small 的音频生成模型,可在手机端上运行。 Hugging Face:https://huggingface.co/stabilityai/stable-audio-open-small Stable Audio Open Small 是 Stability AI 与 Arm 公司合作的成果。该模型的训练集完全由免版

2024-09-27

配置等方面具有更现代的设计。 AimRT 致力于整合机器人端侧、边缘端、云端等各种部署场景的研发。 它服务于现代基于人工智能和云的机器人应用,提供完善的调试和性能分析工具链,以及良好的可观测性支持。 AimRT 还提