RWKV 社区七月动态:RWKV7-G0 7.2B 模型发布,8 篇高质量论文


欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。

只需 3 分钟,快速了解 RWKV 社区 7 月都有哪些新鲜事!

7 月动态省流版(TL;DR)

  1. RWKV 模型新闻动态

    • RWKV7-G0 7.2B 发布,这可能是迄今为止人类训练过的最强纯 RNN 语言模型
    • RWKV7-G1a 0.1B 发布,增强数据后有明显提升
    • RWKV7a-G1b 0.1B 正在训练,加入了 DeepEmbed 技术,总参数 0.9B
  2. RWKV 学术研究动态

    • 新论文:AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding(基于 RWKV 的视频理解,已入选 ICCV 2025
    • 新论文:An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance(基于 RWKV 的图像融合,已入选 IEEE TPAMI
    • 新论文:U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV(基于 RWKV 的医学图像分割,已入选 MICCAI 2025
    • 新论文:DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation(基于 RWKV 的高效视觉模型,已入选 ICIC 2025)
    • 新论文:EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement(基于 RWKV 低光增强)
    • 新论文:Scaling Context Requires Rethinking Attention(基于 RWKV 的架构优化方案)
    • 新论文:DRWKV: Focusing on Object Edges for Low-Light Image Enhancement(基于 RWKV 的低光图像增强)
    • 新论文:LowKeyEMG: Electromyographic typing with a reduced keyset(基于 RWKV 的辅助人机交互系统)
  3. RWKV 社区项目动态

    • Mini-RWKV-V7(基于 RWKV-V7 的一个 34M 参数的语言模型)
  4. RWKV 社区市场活动

    • RWKV 团队亮相 WAIC 2025

    • 移远通信宣布与 RWKV 建立全面合作关系

RWKV 模型新闻动态

RWKV7-G0 7.2B 发布

2025 年 7 月 22 日, RWKV7-G0 7.2B 推理模型(Reasoning Model)正式开源发布,它很可能是迄今为止人类训练过的最强纯 RNN 语言模型,可以解决不少数学题。

eval

详细报道 :RWKV7-G0 7.2B 发布,最强纯 RNN 推理模型

RWKV7-G1a 0.1B 发布

2025 年 7 月 28 日,RWKV7-G1a 0.1B 推理模型(Reasoning Model)正式开源发布,相对 RWKV-G1 0.1B 增加了 1T token 的优质训练数据,各项指标有明显提升。

eval-G1a UncheatableEval-G1a

RWKV7a-G1b 0.1B 正在训练

我们正在训练加入 DeepEmbed 技术 的 RWKV7a-G1b 0.1B(总参数 0.9B)。目前它相对于 RWKV7 的 loss 正在稳定下降。

Loss-G1b

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文RWKV 社区参加的学术研究

AURORA LONG

  • 论文名称:AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding
  • 论文链接:https://arxiv.org/abs/2507.02591
  • 发布日期:2025-07-03

本文基于 RWKV 模型提出了 AURORA LONG,通过将 MLLMs 中的 LLM 组件替换为 RWKV 模型,以恒定大小的隐藏状态处理任意长度的输入序列。研究结合视觉令牌合并,通过按大小升序重新排列视觉令牌,显著提高了处理效率。AURORA LONG 在多个视频基准测试中表现出与基于 Transformer 的模型相当的性能,同时降低了算力消耗。

该论文的模型十分精妙,已入选 ICCV 2025。

20250703-Bringing RNNs Back to Efficient Open-Ended Video Understanding

RWKVFusion

  • 论文名称:An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance
  • 论文链接:https://ieeexplore.ieee.org/abstract/document/11091495
  • 发布日期:2025-07-23

本文基于 RWKV 模型提出 RWKVFusion 框架,利用语言描述和语义掩码指导图像融合过程。该方法通过高效扫描策略将 RWKV 适配为双向版本,并引入多模态融合模块促进信息交换,构建轻量级网络以降低计算成本。在可见红外、多曝光等图像融合任务中实现了最先进的性能。

该论文的框架十分有效,已入选 IEEE TPAMI。

20250723-An Efficient Image Fusion

U-RWKV

  • 论文名称:U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV
  • 论文链接:https://arxiv.org/abs/2507.11415
  • 发布日期:2025-07-15

本文基于 RWKV 模型提出 U-RWKV 框架,用于轻量级医学图像分割。该框架引入方向自适应 RWKV 模块 (DARM) 和阶段自适应挤压-激励模块 (SASE),高效建模长距离依赖并减少方向偏差,在资源受限环境中实现高性能分割。实验验证了其优越的计算效率和分割精度。

论文在医学分割上有出色的表现,已入选 MICCAI 2025。

20250715-U-RWKV

DEVR

  • 论文名称:DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation
  • 论文链接:https://link.springer.com/chapter/10.1007/978-981-96-9794-6_29
  • 发布日期:2025-07-15

本文基于 RWKV 模型提出了一种高效的视觉模型 DEVR,通过改进知识蒸馏方法。重新设计了 RWKV 块以增强通道特征和空间信息捕获,并引入结合对比学习和蒸馏的损失函数,分阶段对齐特征空间。实验表明,DEVR 在图像分类、检测和分割任务中优于现有模型,计算成本更低、速度更快。

论文在图像领域有优秀的表现,已被 ICIC 2025 收录。

20250715-DEVR

EvRWKV

  • 论文名称:EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement
  • 论文链接:https://arxiv.org/abs/2507.03184
  • 发布日期:2025-07-01

本文基于 RWKV 模型提出 EvRWKV 框架,通过双域处理实现事件与图像的连续跨模态交互。该框架采用 Cross-RWKV 模块进行细粒度时空融合,结合 EISFE 模块实现自适应频域噪声抑制与空域形变卷积对齐。在真实低光数据集上的实验表明,该方法能有效抑制噪声、恢复结构细节并提升视觉清晰度,达到 SOTA 性能。

20250701-EvRWKV

Scaling Context Requires Rethinking Attention

  • 论文名称:Scaling Context Requires Rethinking Attention
  • 论文链接:https://arxiv.org/abs/2507.04239
  • 发布日期:2025-07-06

本文基于 RWKV 模型提出了 power attention 优化方案,一种线性成本的序列建模层,通过独立调整状态大小解决长上下文训练问题。实验显示其在上下文学习中优于指数和线性注意力,并开发高效 GPU 内核实现速度提升。

20250706-Scaling Context Requires Rethinking Attention

DRWKV

  • 论文名称:DRWKV: Focusing on Object Edges for Low-Light Image Enhancement
  • 论文链接:https://arxiv.org/abs/2507.18594
  • 发布日期:2025-07-24

本文基于 RWKV 模型提出了 DRWKV 模型,整合全局边缘 Retinex (GER) 理论以解耦光照与边缘结构,引入演化 WKV 注意力机制增强空间连续性。实验表明,该模型在多个低光增强基准测试中取得领先的 PSNR、SSIM 和 NIQE 分数,同时保持低计算复杂度。

20250724-DRWKV

LowKeyEMG

  • 论文名称:LowKeyEMG: Electromyographic typing with a reduced keyset
  • 论文链接:https://arxiv.org/abs/2507.19736
  • 发布日期:2025-07-26

本文基于 RWKV 模型开发了 LowKeyEMG 系统,用于通过表面肌电信号实现高效文本输入。该系统仅使用 7 个手势键,结合语言模型优化文本重建,在实时实验中达到平均 23.3 词/分钟的输入速度,手势效率提升 17%,top-3 单词准确率达 99.2%。

20250726-LowKeyEMG

社区项目动态

Mini-RWKV-V7

项目基于 RWKV-V7 架构训练了一个 34M 参数量的语言模型 Mini-RWKV-V7-LM-34M 。它在保持轻量的同时,具备良好的语言理解和生成能力,非常适合资源极其有限的设备部署和快速迭代开发,并且同时支持预训练和有监督微调。

Mini-RWKV-V7

  • 项目链接:https://github.com/Alic-Li/Mini_RWKV_7

社区市场活动

RWKV 团队亮相 2025 世界人工智能大会

7月26日,RWKV 携全球领先的大模型架构 RWKV-7 亮相 2025 世界人工智能大会暨人工智能全球治理高级别会议(以下简称 " WAIC 2025"),并首次公开了 RWKV-7s 架构。元始智能作为企业代表向国务院总理李强、上海市委书记陈吉宁介绍 RWKV 架构、生态和产业化近况。 WAIC 详细报道 :WAIC首日 | RWKV-7s 新型高效大模型架构正式亮相

同日,承接 RWKV-7 优势的 RWKV-7s 新型高效大模型架构凭借其原创的 DeepEmbed 和 DeepEmbedAttention 技术,成为现场焦点并荣获 WAIC"镇馆之宝-未来之星"称号2025-07-29-img-2-Award 详细报道 :全新高效模型架构!RWKV-7s闪耀WAIC

移远通信宣布与 RWKV 建立全面合作关系

7月26日,移远通信宣布与 RWKV 建立全面合作关系 ,双方将依托移远的算力平台,优化并支持RWKV最新模型架构,共同推动大模型在端侧设备的低资源占用部署。 yiyuan 详细报道 :端侧大模型迎来"轻"革命!移远通信 × RWKV 打造"轻量AI大脑"

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

  • 📖 RWKV 中文文档:https://www.rwkv.cn
  • 💬 RWKV 论坛:https://community.rwkv.cn/
  • 🐧 QQ 频道:https://pd.qq.com/s/9n21eravc
  • 📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

相關推薦

2025-07-26

2025 年 7 月 22 日, RWKV7-G0 7.2B 推理模型(Reasoning Model)正式开源发布,它很可能是迄今为止人类训练过的最强纯 RNN 语言模型。 RWKV7-G0 7.2B 是在 RWKV6-World-V3-7.6B 的基础上训练 2T tokens 的纯预训练模型,但在预训练加入了大量指令/

2025-03-29

mer(RWKV 时序预测) RWKV 模型新闻动态 新模型:RWKV7-G1 0.1B/0.4B 更大的 RWKV7-G1 正在训练中 RWKV 社区活动 RWKV 团队参加 NVDIA GTC 2025 RWKV 社区项目动态 RWKV 端侧 APP 发布并开源 新项目:WorldRWKV(RWKV 多模

2025-05-01

2025 年 4 月 29 日,RWKV 基金会开源了 RWKV7-G1 1.5B 推理模型(Reasoning Model)。 RWKV7-G1 1.5B 具备其它同尺寸模型不具备的推理能力 和任务能力 ,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 1.5B 模型的推理逻辑性较强,

2025-05-22

2025 年 5 月 20 日,RWKV 基金会开源了 RWKV7-G1 2.9B 推理模型(Reasoning Model)。 RWKV7-G1 2.9B 具备其它同尺寸模型不具备的推理能力 和任务能力 ,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 2.9B 模型能够完成有难度的多

2025-06-21

Ollama 最新版本已支持 RWKV7-G1 和 RWKV-7-World 系列模型。 3 月初,随着 RWKV 社区成员 @MollySophia 的 PR 被合并,llama.cpp 正式支持 RWKV-7 模型。Ollama 近期更新了最新版 llama.cpp,因此同步支持 RWKV-7 架构和对应模型。 Ollama 官方模型仓库

2024-08-01

大家好,《RWKV 社区最新动态》迎来了第三期内容,本期统计了 RWKV 社区 7 月的重要动态,一起来看看吧! 省流版本: RWKV 官方公告 RWKV-6-World 14B 模型已发布 RWKV 中文官网 rwkv.cn 正式上线 RWKV 社区新项目 RWKV RAG:

2025-07-30

大幅降低使用门槛,便捷不同用户使用。 RWKV Chat 内置 RWKV7-G1 推理模型,无需联网即可实现推理、深度对话与文本续写。其中的 RWKV7-G1 2.9B 模型在高通手机平台的速度可达 30 token/s,且由于 RWKV 架构无需 KV cache,在超长推理后

2024-07-30

4.05892 RWKV-4:https://arxiv.org/abs/2305.13048   加入 RWKV 社区 欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入我们的 QQ 频道,一起探讨 RWKV 模型。 RWKV 中文官网:https://rwkv.cn/ QQ 频道:https://pd.qq.co

2025-06-10

如 shortconv)。 RWKV-7 的实践验证: 模型规模:RWKV7-G1(2.9B/1.5B)是训练 token 最多的纯 RNN 架构模型(10+ T tokens)。 数据压缩能力:在未知数据(2025年4月)的字节压缩测试中表现优异(见 UncheatableEval)。

2025-06-11

ed Neural Networks 论文 biomems 银奖(2888 元) RWKV-V7 模型解析与实战:架构原理、机制剖析及自定义微调模型效果展示 教程 坤 参与奖 下面是“RWKV 2025 生态内容征集大赛” 5 月投稿获奖的作品介绍。 论文类

2025-04-04

",公开征集 RWKV 相关的作品,包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程,以及基于 RWKV 的应用等。 由于 2 月大家都还在过年假期中,收到的投稿较少,因此我们将 2 月和 3 月的投稿合并在一起同时审核 2025 年 2 月和 3月

2023-10-10

完胜 Llama2。 两行代码和三个关键结论 Llama2可以说是 AI 社区内最强大的开源大模型之一,行业位置领先,LongAlpaca居然可以完胜。其背后的LongLoRA技术成功引起网友们的注意,到底是怎么做到的? 原来大语言模型对长文本处理

2025-06-13

视频虚拟换装新标杆 该方案采用双分支扩散框架,结合动态姿势交互模块(DPI),有效解决了服装细节保持与视频一致性的技术难题,显著提升了虚拟试衣的真实感和时空连贯性。在VVT测试集上,其VFID分数达0.506,较现有方法

2025-03-21

儿童医院知名儿科专家的临床经验和数十年脱敏后的专家高质量病历数据。此外更在循证、推理、记忆、对话、多模态方面对模型进行强化。面对患者家长时,能自主进行多轮问诊和耐心沟通。面对复杂医疗问题时,模型便能够