智源研究院推出 Emu3 等“悟界”系列大模型


继“悟道”系列大模型之后,智源研究院推出“悟界”系列大模型。其中包括原生多模态世界模型Emu3、脑科学多模态通用基础模型见微Brainμ、跨本体具身大小脑协作框架RoboOS 2.0与具身大脑RoboBrain 2.0以及全原子微观生命模型OpenComplex2。

其中,Emu3 旨在让机器更好地理解和感知世界,通过整合不同类型的数据,如视觉、听觉和触觉等,为未来的智能应用提供更为丰富的基础。Brainμ 基于Emu3架构,引入脑信号这一新的模态数据,实现了单一模型完成多种神经科学任务的大一统。

RoboOS 2.0与RoboBrain 2.0在初代版本基础上,原有性能大幅提升,并新增多机协作规划与物理常识驱动的空间推理能力。OpenComplex2可在原子分辨率层面捕捉分子相互作用及平衡构象,探索微观构象波动与宏观生物功能的跨尺度关联。

根据介绍,Emu3基于下一个token预测范式统一多模态学习,无需扩散模型或组合式架构的复杂性,通过研发新型视觉tokenizer将图像/视频编码为与文本同构的离散符号序列,构建模态无关的统一表征空间,实现文本、图像、视频的任意组合理解与生成。

Emu3支持多模态输入、多模态输出的端到端映射,验证了自回归框架在多模态领域的普适性与先进性,为跨模态交互提供了强大的技术基座。

基于Emu3的底层架构,将fMRI、EEG、双光子等神经科学与脑医学相关的脑信号统一token化,利用预训练模型多模态对齐的优势,可以实现多模态脑信号与文本、图像等模态的多向映射,并实现跨任务、跨模态、跨个体的统一通用建模,以单一模型完成多种神经科学的下游任务。

Brainμ整合了神经科学领域多个大型公开数据集和多个合作实验室的高质量神经科学数据,完成了超过100万单位的神经信号预训练,模型可以支持神经科学领域从基础研究到临床研究和脑机接口应用的不同方向,有望成为脑科学的 “AlphaFold”模型。

更多详情可查看官方公告。


相關推薦

2024-10-23

智源研究院宣布正式发布原生多模态世界模型 Emu3。该模型只基于下一个token预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。 目前 Emu3 已开源了关键技术和模型。 公告称,Emu3在图像

2023-03-02

为现象级应用,人工智能进入普及应用的新时期。 智源研究院2020年搭建大模型攻关团队,2021年6月推出当时规模最大、性能领先多模态大模型“悟道2.0”。为了推动大模型方向的协同创新,在“科技创新2030”新一代人工智能重

2023-11-04

算机系自然语言处理实验室(THUNLP)与北京智源人工智能研究院(BAAI)共同孵化,是国内最早开展大模型研发与探索大模型落地的创业公司之一。公司创始团队曾深度参与智源·悟道大模型的研发,目前已发布产品包括世界首个

2023-10-24

宝 AI 时代 澳大利亚国立大学、牛津大学和北京人工智能研究院的研究人员,合作开发了一种名为“3D-GPT”的新型人工智能系统,该系统可以简单地根据用户提供的基于文本的描述生成 3D 模型。相较传统的 3D 建模工作流,提供

2024-09-27

近日,智源研究院正式发布中文互联网语料库 CCI 3.0 (Chinese Corpora Internet,简称 CCI),包括 1000GB 的数据集以及 498GB 的高质量子集 CCI 3.0-HQ。 智源研究院于 2023 年 11 月首次开源 CCI 1.0,并在 2024 年 4 月发布 CCI 2.0。目前,CCI 系列

2025-05-09

智源研究院宣布已发布大型开源文本数据集CCI 4.0,兼顾多样性与高质量,从单一语言数据集扩展为多语种数据集。 根据介绍,本次发布包括了中、英语两种语言,并将在随后的发布中,开源更多语言的版本。此外,CCI 4.0首次

2025-05-14

智源研究院宣布已开源与南开大学共同构建的 Chinese-LiPS 中文多模态语音识别数据集。 作为首个“唇读信息+幻灯片语义信息”结合的中文多模态语音识别数据集,Chinese-LiPS数据集面向中文讲解、科普、教学、知识传播等复杂

2023-07-22

机系唐杰教授创立,团队核心成员曾参与清华大学与智源研究院合作项目"悟道"的研发工作。 2022 年 8 月,清华大学知识工程实验室与智谱 AI 合作研发的高精度双语稠密千亿大模型 GLM-130B 正式上线,是同年亚洲唯一入选斯坦

2025-04-24

。曹越于 2022 年创办 AGI 公司「光年之外」,后加入智源研究院领导多模态与视觉研究中心。随后在 2023 年,曹越创立了 Sand.AI,并很长一段时间与其他成员保持「隐身」状态。 团队成员方面,有不少与曹越有着类似的历程:智

2025-05-28

智源研究院发文宣布,为了推动不同架构 AI 硬件系统的创新和落地,打造开源、统一的 AI 系统软件生态,联合多家机构开源 AI 编译器 FlagTree。 FlagTree 的开源,是开源、统一 AI 系统软件生态 FlagOS 发展进程中又一个重要的里

2023-09-22

机系唐杰教授创立,团队核心成员曾参与清华大学与智源研究院合作项目“悟道”的研发工作。 2022 年 8 月,清华大学知识工程实验室与智谱 AI 合作研发的高精度双语稠密千亿大模型 GLM-130B 正式上线,是同年亚洲唯一入选斯坦

2023-10-21

机系唐杰教授创立,团队核心成员曾参与清华大学与智源研究院合作项目 “悟道” 的研发工作。 2022 年 8 月,清华大学知识工程实验室与智谱 AI 合作研发的高精度双语稠密千亿大模型 GLM-130B 正式上线,是同年亚洲唯一入选斯

2025-06-07

北京智源人工智能研究院正式发布跨本体具身大小脑协作框架 RoboOS 2.0 与具身大脑 RoboBrain 2.0,并全面开源,包括框架代码、模型权重、数据集与评测基准。 跨本体具身大小脑协作框架 RoboOS 2.0 是全球首个基于具身智能SaaS平台

2023-08-19

水木分子联合清华大学智能产业研究院(AIR)宣布开源全球首个可商用多模态生物医药百亿参数大模型 BioMedGPT-10B,可用于提升药物研发各个环节的效率,包括新药立项评估、药物设计和优化、临床试验设计、适应症拓展等。