一觉醒来,发现宇智波佐助在跳芭蕾


阿里通义实验室发布了一个用于可控角色视频合成的通用模型 MIMO,能够模仿任何人在复杂动作和物体交互的场景中的表现。简单讲,用户只要给定一个图像和视频或者动作序列,它就能把给定图像的人物直接替换成视频里面的人物,并且可以控制这个角色的动作和场景进行互动。

具体视频效果见:https://menyifang.github.io/projects/MIMO/index.html

计算机视觉和图形学领域的一个基本问题是,3D作品通常需要多视角捕捉进行逐个案例训练,这严重限制了它们在短时间内建模任意角色的适用性。最近的2D方法通过预训练扩散模型打破了这一限制,但在姿势通用性和场景交互方面仍然存在困难。

MIMO是一种新颖的可泛化模型,它不仅可以根据简单用户输入合成具有可控属性的角色视频,这些可控属性包括角色、动作和场景,MIMO 还能同时实现对任意角色的高级可扩展性、对新型3D动作的通用性以及对互动现实世界场景的适用性,所有这些都在一个统一框架中完成。

MIMO的核心思想是将2D视频编码为紧凑空间代码,同时考虑到视频发生固有的3D特性。用户可以输入多项数据:单个图像作为角色,一系列姿势作为动作,以及单个视频/图像作为场景。MIMO模型能够将这些目标属性嵌入潜在空间,以构建目标编码,并通过空间感知分解将驱动视频编码为空间编码,自由地按特定顺序整合潜在编码,从而实现直观的合成属性控制。

最后,明明介绍页面在一本正经讲核心原理,突然看到这里的坤哥,真的绷不住。

项目主页:https://menyifang.github.io/projects/MIMO/index.html


相關推薦

2022-09-07

没有告诉我”。且一切都发生的毫无预兆,该用户只是睡一觉醒来,打开电脑就发生了此等情况。 帖子一经发布后引发了很多共鸣,许多用户表示自己遇到了同样的问题。经过一些讨论和专家诊断后,确认了这一问题是 Windows

2022-10-10

一大波流量和新用户涌入,直接给服务器干崩溃了。Ash 醒来时看到了服务器的停机警报,本就为家人的病情一筹莫展,还不得不挤出时间通过 ssh 进入服务器进行调整。 现实和网络的双重打击让 Ash 感到心力交瘁,与很多开源

2023-04-03

更新,但尚未构建新包。 从以前的版本升级时,请确保在跳转到 3.0 之前至少使用 MidnightBSD 2.2.5,否则某些系统上的 usr.bin/lex 存在问题。 进行从 2.x 到 3.x 的重大升级时,有时需要在 usr.bin/Makefile 中禁用 perl 构建。如果在 src/

2021-11-18

示,有 300% 的测试目标存在某种形式的漏洞,36% 的测试发现了高危或严重漏洞;还有 76% 发现的漏洞属于 OWASP Top 10 类别,而应用程序和服务器配置错误占所发现的整体漏洞的 21%。 在移动应用程序中,150% 的已发现漏洞与不安

2025-04-04

度的开源恶意软件指数报告指出,1 月 1 日至 3 月 31 日共发现了 17,954 个开源恶意软件;其中包括几个被劫持的 npm 加密包、一个伪装成 Truffle for VS Code 扩展的恶意 npm 包,以及假冒的 Solana 包。 相较上一季度发现的 34,000 多个恶

2025-07-30

0 GPU 小时的计算资源,在无人干预的情况下,ASI-ARCH 自主发现了 106 个新颖且性能卓越的线性注意力架构,这些架构在多个基准测试中超越了如 Mamba2 和 Gated DeltaNet 等强大的基线模型。 这一研究规模和效率远超传统人类研究团

2022-01-06

多网站(包括一些高流量的在线服务)进行了调研,结果发现了 70 个具有不同影响的缓存中毒漏洞。 根据介绍,Web 缓存中毒攻击的目标是网络服务器和客户端设备之间的中间存储点,如 point-of-presence servers、代理和负载

2025-08-13

员发放 25 万美元(约合 179.8 万元人民币)奖金,奖励其发现 Chrome 浏览器高危漏洞。 该研究员于 4 月 23 日报告了一个“沙盒逃逸”漏洞,编号为 CVE-2025-4609,存在于 Chrome 内核的 IPCZ 通信系统中。攻击者可通过诱导用户访问

2025-08-20

继续执行。重新安装程序或许可以解决此问题。 这一发现迅速引发了用户的讨论(他们已经对 Mozilla 向浏览器添加不必要的、耗费资源的内容感到不满),他们要求 Mozilla 放弃旧版 Windows 10,这并非罕见之举。尽管 Windows 10

2025-06-10

间的通信(onboard))。 中科固源Wisdom协议安全测试平台发现PX4飞控框架最新release版本V1.15.4远程内存漏洞,当飞行器收到精心构造的测试用例时,可远程触发无人机内存泄漏,使无人机系统异常崩溃。 在候补版本中的V1.16.0-rc1

2025-05-14

公告,该漏洞由中国安全专家秦若涵、崔志伟以及崔宝江发现。 上述三人应该均来自北京邮电大学,其中崔宝江是博士生导师,现主要从事网络攻防技术、漏洞挖掘技术、大数据安全分析技术、网络与主机安全行为分析、Web /

2021-12-17

继 CVE-2021-44228 和 CVE-2021-45046 之后发现的第五个 Log4Shell 漏洞。 距离 Apache Log4j “核弹级”漏洞的公开已过去将近一周,在此期间被记录的漏洞总共有两个,分别是 CVE-2021-44228 和 CVE-2021-45046。针对漏洞的补丁版本也早已发布

2022-08-15

安全研究人员发现,Discord、Microsoft Teams 和其他应用软件所使用的底层框架存在 RCE(远程代码执行)漏洞。 上周四在拉斯维加斯举行的黑帽网络安全大会 (Black Hat cybersecurity conference) 上,安全研究人员在流行的应用软件如 D

2022-03-31

3 月 21 日他们已观察到不少于 218 个恶意 NPM 包。检查后发现这都是针对 Azure 开发人员的新的大规模供应链攻击,攻击者采用了一个自动脚本来创建账户并上传覆盖整个 scope 的恶意软件包,旨在窃取个人身份信息。 除了针对