使用场景

使用文本提示'海底世界'生成展示海底生物游动的视频。

根据文本'宇航员骑马'生成一个宇航员在尘土飞扬的背景下骑马的奇幻场景。

为广告制作生成一个展示产品特点的短视频，如'智能手机在手中旋转'。

产品特色

生成高质量的6秒视频，每秒15帧，分辨率为720p。

支持从文本提示生成各种电影主题的视频，包括人物特写、动物动作场景等。

模型参数为175M的VideoVAE和2.8B的VideoDiT，支持多种精度，高效利用GPU内存。

开源模型权重和代码，遵循Apache 2.0许可。

通过VideoVAE将原始视频压缩成视觉令牌，保留关键细节，提高视频生成效率。

使用扩展的视频扩散变换器架构，结合3D RoPE位置嵌入和3D全注意力机制，有效捕捉视频数据中的空间和时间关系。

与传统扩散模型相比，Transformer结构更易于模型扩展，通过3D注意力机制处理视频帧的空间维度和时间演变，实现更细致的运动和上下文理解。

使用教程

1. 访问Allegro的Hugging Face页面或GitHub仓库，了解模型详情和使用条件。

2. 下载并安装必要的软件依赖，如Python环境和深度学习框架。

3. 根据文档指南，加载Allegro模型权重，并配置好运行环境。

4. 准备或编写文本提示，这些提示将作为生成视频的基础。

5. 使用模型提供的API或脚本，输入文本提示并启动视频生成过程。

6. 等待模型处理完成，生成的短视频将保存在指定的输出目录。

7. 检查生成的视频质量，并根据需要调整文本提示或模型参数以优化结果。

8. 将生成的视频用于个人项目或商业用途，遵守Apache 2.0许可协议。