使用场景

研究人员使用FastVideo框架对Hunyuan模型进行蒸馏，以提高视频生成的速度和效率。

开发者利用FastVideo提供的FastMochi模型进行视频内容的快速生成和处理。

教育机构使用FastVideo框架进行视频扩散模型的教学和研究，提高学生的学习效率和实验效果。

产品特色

• 支持FastHunyuan和FastMochi两种视频扩散模型，实现8倍推理速度提升

• 提供基于PCM的视频DiT蒸馏配方

• 支持对Mochi和Hunyuan等最先进的视频DiT模型进行蒸馏、微调和推理

• 支持FSDP、序列并行和选择性激活检查点进行可扩展训练

• 支持使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调

• 提供预处理数据和预训练模型权重下载，简化用户操作

• 提供对抗性损失的可选脚本，尽管对抗性损失并未观察到显著改进

使用教程

1. 安装FastVideo：按照GitHub页面上的说明，运行`./env_setup.sh fastvideo`来设置环境。

2. 下载模型权重：使用提供的脚本来下载FastHunyuan或FastMochi的模型权重。

3. 运行推理：根据模型的不同，运行对应的推理脚本，例如`sh scripts/inference/inference_hunyuan.sh`进行FastHunyuan模型的推理。

4. 蒸馏模型：按照文档指示，下载原始模型权重，并使用`bash scripts/distill/distill_mochi.sh`或`bash scripts/distill/distill_hunyuan.sh`进行模型蒸馏。

5. 微调模型：确保数据已准备好并预处理，然后使用`bash scripts/finetune/finetune_mochi.sh`进行Mochi模型的微调。

6. 查看开发计划和更新：定期查看FastVideo的GitHub页面，了解最新的开发计划和代码更新。