使用场景
生成一个滑板运动员在空中翻转的视频。
创建一个芭蕾舞者在湖面上旋转的视频。
生成一个熊猫在霓虹灯巷子里跳街舞的视频。
产品特色
通过联合外观 - 运动表示提升视频生成的运动连贯性
引入内指导机制，动态引导视频生成
支持复杂运动类型的高质量生成
无需修改训练数据或扩展模型规模即可应用
显著提升视频生成的视觉质量和运动连贯性
使用教程
1. 准备一个支持 VideoJAM 的视频生成模型。
2. 将 VideoJAM 框架集成到模型中，扩展训练目标以预测外观和运动。
3. 在训练阶段，使用联合表示学习外观和运动。
4. 在推理阶段，启用内指导机制，利用动态运动预测引导视频生成。
5. 根据需要调整参数，优化生成效果。
