使用场景

案例一：使用Allegro-TI2V根据文本提示和一张图片生成一段关于汽车行驶的视频。

案例二：利用Allegro-TI2V创作一段关于动物在森林中奔跑的动画视频。

案例三：结合Allegro-TI2V和EMA-VFI技术，将15FPS的视频内容插值到30FPS，以提高视频流畅度。

产品特色

- 开源：模型权重和代码完全开放给社区，遵循Apache 2.0协议。

- 多样化内容创作：能够生成从人物和动物特写到多样化动态场景的广泛内容。

- 文本图像到视频生成：支持从用户提供的提示和图像生成视频，包括基于第一帧图像和提示生成后续视频内容，以及基于第一帧和最后一帧图像生成中间视频内容。

- 高质量输出：能够生成720x1280分辨率、15FPS的6秒详细视频，可通过EMA-VFI插值到30FPS。

- 小巧高效：包含175M参数的VideoVAE和2.8B参数的VideoDiT模型，支持多种精度（FP32, BF16, FP16），在BF16模式下使用CPU offloading时GPU内存占用为9.3GB。

- 多精度支持：模型支持FP32, BF16, FP16等多种精度，以适应不同的硬件和性能需求。

- 快速推理：在单GPU上推理时间为20分钟（H100），或在8xH100上为3分钟。

使用教程

1. 从GitHub下载Allegro的代码。

2. 安装必要的依赖，确保Python版本大于等于3.10，PyTorch版本大于等于2.4，CUDA版本大于等于12.4。

3. 从Hugging Face下载Allegro-TI2V模型权重。

4. 使用提供的命令行工具运行推理，输入必要的参数，如用户提示、第一帧图像路径等。

5. 如果需要，使用EMA-VFI将生成的视频从15FPS插值到30FPS以提高视频质量。

6. 使用imageio等工具保存生成的视频。