南洋理工大学、北京大学王选计算机技术研究所与上海人工智能实验室的研究人员近日联合开源了名为 “WORLDMEM” 的长记忆世界模型。这一新模型旨在解决当前虚拟环境中长期一致性的问题，尤其是在视角变化或时间推移的情况下，仍能维持3D 空间的连贯性，从而显著提升用户体验。
WORLDMEM 的核心在于其创新的记忆机制。该机制构建了一个包含多个记忆单元的存储库，每个单元储存了与特定时间相关的场景信息和状态数据。通过这一机制，模型能够有效地从之前观察到的场景中提取信息，并在视角或时间变化时重新构建出精确的场景。这种方式突破了传统方法对短时间上下文窗口的限制，使得长期保留环境细节成为可能。
在生成新场景时，WORLDMEM 的记忆机制能够从庞大的记忆库中快速检索与当前场景最相关的信息。该过程涉及复杂的推理和匹配，以确保所提取的信息与当前的时间、视角和场景状态相契合。比如，当虚拟角色在环境中移动后返回原位置时，模型会迅速找到先前的记忆帧，确保场景的连贯性和一致性。
此外，WORLDMEM 具备动态更新的能力，随着虚拟世界的发展，新的场景和信息会不断被添加到记忆库中。这一特性保证了模型对最新环境状态的准确记录，从而提升了场景生成的质量。该模型采用了基于条件扩散变换器的架构，能够整合外部动作信号，实现虚拟世界的第一人称视角生成，使得角色可以灵活地在虚拟环境中移动和互动。
WORLDMEM 还使用了扩散强迫技术进行训练，使得模型能够在时间维度上进行长期模拟。这一训练方式确保了场景生成的连贯性，并使模型能够有效应对不同的动作指令和场景变化。通过将动作信号投影到嵌入空间，并结合去噪时间步嵌入，模型提升了对动作信号的响应能力。