Stability AI 发布了开源视频生成模型 Stable Video Diffusion,该模型基于该公司现有的 Stable Diffusion 文本转图像模型,能够通过对现有图像进行动画化生成视频。
主要特性
- 文本到视频
- 图像到视频
- 14 或 25 帧,576 x 1024分辨率
- 多视图生成
- 帧插值
- 支持3D 场景
- 通过 LoRA 控制摄像机
Stable Video Diffusion 提供两个模型,分别为 SVD 和 SVD-XT。其中,SVD 将静止图像转换为 14 帧的 576x1024 视频,而 SVD-XT 在相同的架构下将帧数提升至 24。
两者都能以每秒 3 到 30 帧的速度生成视频。白皮书显示,这两个模型最初在数百万个视频的数据集上进行训练,然后在数十万到百万数量级的较小数据集上进行“微调”。
Stability AI 称正在开发一个新的网络平台,包括一个文本到视频的界面。这个工具将展示Stable Video Diffusion在广告、教育、娱乐等多个领域的实际应用。
开源地址
- GitHub:https://github.com/Stability-AI/generative-models
- 论文:https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets
- HuggingFace:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt