使用场景

研究人员使用 Pippo 模型从单张照片生成高质量的多人视角视频，用于虚拟现实内容创作。

影视制作团队利用 Pippo 生成高分辨率的虚拟角色视频，节省拍摄成本。

开发者基于 Pippo 的代码架构，扩展开发新的图像生成应用。

产品特色

从单张照片生成高分辨率的多人视角视频

支持不同分辨率的模型训练（128、512、1024）

提供样本训练代码和数据集支持（如 Ava-256）

计算生成图像与真实图像的重投影误差

提供控制 MLP 和注意力偏差技术，优化扩散变换器性能

支持在不同 GPU 配置下运行（如 A100、T4）

使用教程

1. 克隆仓库：`git clone git@github.com:facebookresearch/pippo.git` 并进入目录。

2. 设置环境：使用 Conda 创建环境并安装依赖，如 PyTorch 和其他库。

3. 下载样本数据：运行 `python scripts/pippo/download_samples.py` 下载 Ava-256 数据集样本。

4. 启动训练：根据 GPU 配置选择合适的模型配置文件，运行 `python train.py` 开始训练。

5. 计算重投影误差：运行 `python scripts/pippo/reprojection_error.py` 比较生成图像与真实图像的误差。