使用场景

生成一个关于‘一只猫看着一只黑色的老鼠’的视频，展示不同提示间的平滑过渡。

通过DiTCtrl生成一个长视频，内容为‘海洋中的鱼’，展示视频的连贯性和动态效果。

使用DiTCtrl进行视频编辑，将视频中的‘白色SUV’替换为‘红色跑车’，同时保持视频的原始构图。

产品特色

• 无需训练的多提示视频生成：DiTCtrl能够在无需额外训练的情况下，根据多个连续提示生成视频。

• 平滑过渡和一致性：视频生成过程中实现了对象运动的连贯性和场景之间的平滑过渡。

• 多模态扩散变换器架构：基于MM-DiT架构，DiTCtrl展现了与UNet类似的自注意力机制，并增强了时间建模能力。

• 精确的语义控制：通过注意力机制的分析，DiTCtrl能够实现不同提示间的精确语义控制。

• 视频编辑功能：DiTCtrl可以应用于视频编辑任务，如文字替换和视频重权。

• 长视频生成：DiTCtrl能够通过设置相同的连续提示，自然地工作在单提示长视频生成上。

• 电影风格的过渡效果：DiTCtrl能够展示电影风格的过渡效果，如男孩骑行序列的描绘。

使用教程

1. 准备多个连续的视频提示，作为视频生成的输入。

2. 使用DiTCtrl模型，将这些提示输入模型中。

3. 模型将分析每个提示的语义内容，并在内部进行注意力机制的计算。

4. 模型生成视频的初始潜在表示，包括多个提示的视频内容。

5. 通过模型的去噪过程，将全注意力转换为遮罩引导的KV共享策略，以查询源视频中的视频内容。

6. 根据修改后的目标提示，合成内容一致的视频。

7. 观察生成的视频，检查过渡的平滑性和对象运动的连贯性。

8. 如有需要，可以对生成的视频进行进一步的视频编辑，如文字替换或视频重权。