使用场景

- 视频制作者使用Ruyi-Mini-7B从静态图像生成动画背景。

- 游戏开发者利用模型为游戏角色创建动态背景。

- 广告制作者使用模型生成吸引人的广告视频内容。

产品特色

- 视频压缩与解压：Casual VAE模块，将空间分辨率降低到1/8，时间分辨率降低到1/4。

- 3D全注意力视频数据生成：Diffusion Transformer模块，使用2D Normalized-RoPE处理空间维度，Sin-cos位置嵌入处理时间维度，DDPM模型训练。

- 语义特征提取：利用CLIP模型从输入图像中提取语义特征，引导整个视频生成过程。

- 多分辨率支持：模型能够处理从360p到720p不同分辨率的视频生成。

- 运动和相机控制：增强视频生成的灵活性和创造力。

- 开源许可：Apache 2.0许可，用户可以自由使用和修改模型。

- 高效视频生成：模型能够快速生成长达5秒的视频内容。

使用教程

1. 从GitHub克隆Ruyi-Models代码库。

2. 进入Ruyi-Models目录。

3. 使用pip安装requirements.txt中列出的依赖。

4. 使用python3 predict_i2v.py运行模型。

5. 或者使用GitHub仓库中的ComfyUI包装器运行模型。

6. 输入图像并等待模型生成视频。

7. 根据需要调整运动和相机控制参数以优化视频效果。

8. 导出生成的视频内容。