使用场景

在虚拟现实中，设计师可以使用HoloDreamer快速生成一个虚拟城市，进行初步设计和测试。

游戏开发者可以利用HoloDreamer生成独特的游戏场景，提升游戏的沉浸感和视觉效果。

电影制作者可以利用HoloDreamer生成复杂的电影场景，进行预览和修改，优化最终的视觉效果。

产品特色

风格化等矩形全景生成：结合多个扩散模型，从复杂的文本提示生成风格化和详细的等矩形全景图。

增强两阶段全景重建：进行深度估计并投影RGBD数据以获取点云，使用基础相机和辅助相机在不同场景下进行投影和渲染。

3D高斯散射（3D-GS）：快速重建3D场景，增强场景的完整性。

多视图监督：利用2D扩散模型生成初始局部图像，然后逐步生成场景，提高全局一致性。

全景图旋转无裂缝：应用圆形混合技术，避免在旋转全景图时出现裂缝。

两阶段优化：在传递优化阶段对重建场景的渲染图像进行内绘，优化3D-GS，生成最终重建场景。

高清晰度全景初始化：生成高清晰度全景图作为3D场景的整体初始化，提高重建的质量和一致性。

使用教程

1. 输入文本描述：用户输入描述3D场景的文本提示。

2. 生成全景图：HoloDreamer使用多个扩散模型生成风格化和详细的等矩形全景图。

3. 深度估计：对生成的全景图进行深度估计，生成RGBD数据。

4. 点云生成：将RGBD数据投影到3D空间，生成点云。

5. 3D场景重建：利用3D高斯散射技术快速重建3D场景。

6. 两阶段优化：在传递优化阶段对重建场景的渲染图像进行内绘，优化3D-GS，生成最终重建场景。

7. 渲染和输出：最终生成的3D场景可以用于虚拟现实、游戏或电影制作中。