使用场景

使用GenWarp模型从单张街景图片生成多个视角的街景图像。

将GenWarp集成到3D游戏开发中，用于快速生成游戏场景的不同视角图像。

在虚拟现实应用中，利用GenWarp生成用户所处位置的周围环境的新视角图像。

产品特色

从单张图像生成3-4个新视角图像

结合快速3DGS重建器如InstantSplat进行3D场景重建

通过扩散模型隐式进行几何变形，避免直接变形像素或特征

设计模型在生成过程中交互式补偿变形不良区域，防止显式变形引起的伪影

增强自注意力，专注于需要生成先验的区域，如遮挡或变形不良区域

交叉视角注意力专注于可以从输入视图可靠变形的区域

在野外图像上进行定性评估，展示模型性能

使用教程

1. 准备一张需要生成新视角的源图像。

2. 确定所需的目标视角和相机视点。

3. 使用GenWarp模型对源图像进行处理，生成新视角图像。

4. 如有需要，将生成的图像输入到3DGS重建器中进行进一步的3D场景构建。

5. 根据应用需求，对生成的图像进行后处理，如颜色校正、细节增强等。

6. 将最终生成的图像应用于所需的领域，如3D建模、虚拟现实、游戏开发等。