全新高效模型架构!RWKV-7s 闪耀 WAIC


2025 年 7 月 26-29 日,RWKV 团队受邀参加2025世界人工智能大会(WAIC 2025), 并在大会公开了 RWKV 最新的高效大模型架构:RWKV-7s,吸引了来自产业界、学术界及媒体的广泛关注与讨论。

战略合作 广泛落地

7月26日,移远通信宣布与RWKV公司建立全面合作关系,双方将依托移远的算力平台,优化并支持RWKV最新模型架构,共同推动大模型在端侧设备的低资源占用部署。

RWKV x 移远通信

端侧大模型迎来“轻”革命!移远通信 × RWKV 打造“轻量AI大脑”

凭借RWKV架构“资源占用和推理速度恒定”的特性,RWKV系列模型在端侧部署具有天然优势。现在,RWKV已与多家芯片厂商、具身智能厂商合作将RWKV模型部署在芯片及机器人上,如:高通、联发科、Intel、AMD、英伟达、地平线机器人、有鹿机器人等等。

全新技术 全面领先

WAIC 大会首日,承接 RWKV-7 优势的 RWKV-7s 新型高效大模型架构正式发布。凭借其原创的 DeepEmbed 和 DeepEmbedAttention 技术,成为现场焦点并 荣获WAIC“镇馆之宝-未来之星”称号

WAIC-Award 镇馆之宝|WAIC 2025镇馆之宝及系列奖项名单公布

RWKV-7s 是 RNN+DeepEmbedAttention 混合架构,兼具高效计算与强长文本性能,其设计创新包括:

  • 原创 DeepEmbed 技术,大稀疏模型只需小显存,比 MoE 显著更适合端侧!

  • 原创 DeepEmbedAttention (DEA) 技术,长文本性能看齐 Attention,而 KV cache 仅为 MLA 的 1/9,更快更省!

DeepEmbed DeepEmbedAttention

RWKV-7s 架构支持适配大语言模型、多模态、智能体等多种应用场景,凭借广泛的适配性吸引了现场各领域有智能化发展需求的企业关注。

多场深度分享

大会期间,RWKV 联合创始人 & COO 罗璇及 RWKV-PEFT 与 WorldRWKV 作者康嘉乐受邀参与多场技术论坛与专题活动,围绕 RWKV-7s 混合架构、AGI 演进路径及端侧部署趋势等话题展开深度分享。

mohe open_talk

端侧 Demo

展会现场,RWKV 展台同步展出了五款 RWKV 自研的端侧离线应用。凭借对多模态场景的广泛覆盖,收获了现场观众的热烈反响。

其中,RWKV 作曲家升级全新输入方式。除原有的虚拟键盘和蓝牙 MIDI 键盘输入以外,新增哼唱识别乐谱输入功能,大幅降低使用门槛,便捷不同用户使用

RWKV 作曲家

RWKV Chat 内置 RWKV7-G1 推理模型,无需联网即可实现推理、深度对话与文本续写。其中的 RWKV7-G1 2.9B 模型在高通手机平台的速度可达 30 token/s,且由于 RWKV 架构无需 KV cache,在超长推理后仍然可以速度恒定,内存占用恒定。

本次展示,RWKV Chat 全面优化 UI 界面,新增 Agent 陪聊与文本续写功能,开发团队还同步推出新手、高级、专家三种应用模式,以满足不同技术背景用户的需求为核心,为用户带来更个性化的体验。

RWKV Chat

此外,RWKV 展位还演示了端侧离线部署的图像多模态应用 RWKV See;超长 CoT 解决复杂数独的 RWKV 数独;以及语音多模态应用 RWKV Talk

RWKV 数独

RWKV See

RWKV Talk

RWKV— 面向未来的高效 AI 大模型架构

感谢每一位在 WAIC 2025 与 RWKV 相遇的朋友。未来,RWKV 期待深度参与社区技术交流与资源整合,携手伙伴共同推动普惠开放的 AI 未来。目前,下一代核心架构 RWKV-8 的研发已在加速筹备中,预计于今年内发布。

更多 RWKV 技术动态、产品进展及社区合作信息,敬请持续关注 RWKV 官方公众号。


相關推薦

2025-07-01

DEA head,就能显著增强长上下文能力。因此,对比现有的高效注意力机制(例如 MLA 使用 576 个值),DEA 的 KV 缓存进一步缩小到 64/576 = 1/9,实现了极致效率。 图中 loss delta 图的横轴是随着前文长度增加时 token 的位置(token_pos

2025-07-29

了解,昇腾384超节点首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,其算力总规模达300Pflops,是英伟达NVL72的1.7倍。 网络互联总带宽达269TB/s,比英伟达NVL72提升107%;内存总带

2025-07-26

2025 年 7 月 22 日, RWKV7-G0 7.2B 推理模型(Reasoning Model)正式开源发布,它很可能是迄今为止人类训练过的最强纯 RNN 语言模型。 RWKV7-G0 7.2B 是在 RWKV6-World-V3-7.6B 的基础上训练 2T tokens 的纯预训练模型,但在预训练加入了大量指令/

2025-07-29

务效率与安全痛点难题,智慧养老为养老行业提供了一种全新解法,让高效安心养老成为现实。 老龄化加速下的养老服务困局:5000万失能老人的“三大鸿沟” 国家统计局数据显示,2025年我国60岁以上人口达3.1亿,占总人口

2023-10-21

家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI 和

2025-06-28

精细处理语音的编码器。视觉方面则由名为 MobileNet-V5 的全新编码器提供支持,该编码器比其前代产品速度更快、效率更高。它能够在 Google Pixel 设备上以高达 60FPS 的速度处理视频。 如果您有兴趣,可以立即开始使用,因为这

2025-07-29

能基础在于学习和联结网络,理解先于学习。 大语言模型理解语言的方式与人类基本相同。人类有可能就是大语言模型,也会像大语言模型一样产生幻觉,创造出许多幻觉性语言。 如果用乐高积木类比看,每个词都是多

2024-08-27

RISC-V 桌面生态的未来》的主题演讲,分享deepin适配RISC-V架构的成长之路和最新进展、成果,畅谈deepin与RISC-V桌面化的未来。 deepin全面构筑RISC-V生态体系 目前,RISC-V是中国CPU领域最受欢迎的架构,正在成为推动新一代信息技

2025-07-29

智元已开源的高性能中间件 AimRT 持续增强,提供稳定、高效的分布式群体实时通信、硬件抽象等基础服务框架; 中层开放智能体服务框架,支持多模态感知、任务规划、动作控制等核心模块的标准化对接; 上层则配套仿真

2025-04-10

档及代码搜索等任务,其性能也得到了进一步提升。 全新架构 jina-reranker-m0 的模型架构基于 Qwen2-VL-2B 构建的,总参数量达到 24 亿。该模型采用成对比较(pairwise comparison)机制,能够同时评估输入文档里的视觉和文本元素

2024-09-20

近日,深圳市群芯闪耀科技有限公司(简称“群芯闪耀”)签署了openKylin社区CLA(Contributor License Agreement贡献者许可协议),正式加入openKylin开源社区。 群芯闪耀致力于为开发者、企业和消费者提供高质量的RISC-V软硬件解决方

2023-10-25

等各个基础模块,实现了性能、效率的大幅提升。 这一全新的融合内核,支持 200 多个处理器平台、20 多种文件系统,还能根据硬件能力差异灵活配置,具有很好的兼容性,使得每个独立设备的性能都能得到彻底解放。 在系统

2025-04-22

科大讯飞今日官宣,讯飞星火 X1 全新升级,号称是“当前业界唯一的基于全国产算力训练的深度推理大模型”, 本次升级有这些关键信息⬇️ ✨实现了数学、代码、逻辑推理、文本生成、语言理解、知识问答等通用任务效果

2024-07-05

工作效率更高,质量更好;另一方面,我们也看到有一些全新的工作机会开始冒出来了,比如数据标注师,过去几年我们帮助全国20多个城市落地了数据标注中心,提供了大量新的就业岗位,再比如提示词工程师,以后不用编程