华为发布 AI 推理创新技术 UCM:可实现高吞吐、低时延推理体验,计划 9 月开源


根据报道,华为正式发布了 AI 推理创新技术 UCM(推理记忆数据管理器)。

华为推出的 UCM(推理记忆数据管理器)是一款以 KV Cache 为中心的推理加速套件,融合多类型缓存加速算法工具,通过分级管理推理过程中产生的 KV Cache 记忆数据,扩大推理上下文窗口,实现高吞吐、低时延的推理体验,,降低每 Token 推理成本。

此外,华为计划于 2025 年 9 月正式开源 UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有 Share Everything (共享架构) 存储厂商和生态伙伴。


相關推薦

2025-07-29

华为在2025世界人工智能大会(WAIC)首次线下展出了昇腾384超节点真机,即Atlas 900 A3 SuperPoD。 该产品基于超节点架构,通过总线技术实现384个NPU之间的大带宽低时延互联,解决集群内计算、存储等各资源之间的通信瓶颈。通过

2024-09-26

[中国,上海,2024年9月21日]  9月19日,华为常务董事、ICT基础设施业务管理委员会主任汪涛发表主题演讲时正式宣布,为加快AI在企业的创新和落地,华为全面开放openMind应用使能套件,助力企业快速构建自己的AI社区,繁荣

2024-08-16

习模型或大语言模型中可用组件的透明度和清晰度。 华为存储软件首席专家张群辉以《ModelEngine 垂域大模型应用端到端解决方案》为题发表演讲,他详细阐述了业界首个流式大模型编程框架 ModelEngine 核心理念,包括:插件

2023-10-21

境中运行。支持的云平台包括阿里云、腾讯云、百度云、华为云、AWS、GCP、Azure Cloud 等。 下载资源 Alluxio Enterprise AI 下载链接:https://www.alluxio.io/download/ AI Infra Day 在美西时间 10 月 25 日的 AI Infra Day 上,Alluxio 将首次公开展示

2023-07-13

7月8日,华为开发者大会2023(Cloud)期间,由华为云开源主导的“5大开源项目发布与更新,多种底层能力助力开发者实现应用创新”分论坛圆满落幕。 在本次分论坛中, 华为云开源业务总经理邓明昆介绍了华为云开源的发展现

2025-06-09

面壁智能正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型,实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作,实现了长短文本多重推理效率的提升,端侧

2023-07-08

【中国,东莞,2023年7月7日】华为开发者大会2023(Cloud)7月7日在中国东莞正式揭开帷幕,并同时在全球10余个国家、中国30多个城市设有分会场,邀请全球开发者共聚一堂,就AI浪潮之下的产业新机会和技术新实践开展交流分享

2025-07-15

的突破,在多项权威具身智能基准上全面刷新纪录,此前发布的7B版本,具备紧凑高效的模型结构,其轻量化设计完美适配边缘设备部署需求,能在低资源环境下稳定运行,同时相比主流的开闭源模型性能依旧强劲。 RoboBrain 2

2025-03-21

3月20日,华为召开Pura先锋盛典,作为鸿蒙生态合作伙伴,百度也在会上宣布,最新的AI搜索模式“百看计划”在鸿蒙首发。 据介绍 ,“百看计划”让鸿蒙真正实现了软硬件生态的全新突破,意在为用户带来“百看不厌”的搜

2023-10-28

品,同时应用于模型训练及推理。 此外,昆仑万维在“华为全联接大会2023”举办期间,发布“天工大模型端云一体化方案”。该方案具备开箱即用、定制调优、服务保障三大优势,企业可以自主地训练模型,也可以基于天工模

2023-09-23

世同堂,凭什么开发 30 岁就要被干掉? 2023年9月21日,华为全联接大会2023 “开源创新,共筑智能世界”论坛在上海前滩香格里拉酒店圆满落幕。在此次开源分论坛上,华为云开源业务总经理邓明昆进行了题为《开源协同创新

2025-06-05

网(IIoT)与边缘计算深度融合的今天,NebulaFlow开源框架的发布标志着分布式AI推理技术迈入新阶段。本文深度解析该框架如何通过创新的数据流编排机制,在工业质检、设备预测性维护等场景中实现毫秒级响应,同时揭示其三层异

2025-04-08

理将成为AI新阶段的核心动力。 3月25日,美国谷歌公司发布了号称最强推理模型的双子座 2.5 Pro。据介绍,它是谷歌旗下最先进的复杂任务模型,展示了强大的推理和代码能力,并拥有双子座系列此前各模型所具有的全部功能。

2024-08-02

到默认采用动态图并可实现动静统一与训推一体的2.0版本发布,飞桨框架已经可以完美融合动态图的灵活性与静态图的高效性,并支持模型的混合并行训练;再到近日,为大模型时代而锤炼的3.0版本的正式出炉!飞桨正式开启了