使用场景

视频制作者可以使用此模型生成具有特定动作和背景的定制视频内容。

游戏开发者可以利用模型在游戏内生成动态视频背景或剧情动画。

研究人员可以在此基础上进一步开发，探索视频生成技术的更多可能性。

产品特色

使用 Asymmetric Diffusion Transformer (AsymmDiT) 架构，具有10亿参数的扩散模型。

通过 AsymmVAE 模型实现视频的高效压缩，压缩比达到128倍。

支持从命令行直接生成视频或通过 Gradio 用户界面操作。

模型对用户提示的处理仅使用单个 T5-XXL 语言模型进行编码。

模型需要至少4个 H100 GPU 才能运行，社区正在努力降低这一要求。

在研究预览阶段，生成的视频分辨率为480p，可能在极端运动情况下出现轻微形变。

模型优化为照片般真实风格，不适合动画内容的生成。

使用教程

1. 使用 Git 克隆 genmoai/models 仓库到本地。

2. 安装并设置好虚拟环境。

3. 安装必要的依赖项。

4. 下载模型权重到本地目录。

5. 使用提供的命令行工具或 Gradio UI 启动视频生成过程。

6. 根据需要调整生成参数，如提示、种子值等。

7. 运行生成命令，模型将根据输入的提示生成视频。

8. 检查生成的视频是否满足要求，必要时进行微调。