使用场景

电影中的钢铁侠角色3D模型重建，通过LucidFusion从多角度图像中生成。

从电影中提取的绿巨人角色，使用LucidFusion进行3D重建，用于电影后期制作。

利用LucidFusion技术，从不同角度的图片中重建出俄罗斯风格套娃的3D模型，用于文化展览。

产品特色

• 利用相对坐标图（RCM）对不同视图的几何特征进行对齐，提高3D重建的准确性和一致性。

• 端到端前馈框架，简化了从多视图图像到3D模型的转换过程。

• 支持任意数量和任意姿势的多视图图像，增强了模型的适用性和灵活性。

• 与单图像到3D的流程无缝集成，提高了3D建模的效率和细节。

• 生成高分辨率3D高斯，分辨率达到512x512，适用于高质量的3D视觉应用。

• 支持跨数据集的内容创建，展示了模型的强大适应性和应用潜力。

使用教程

1. 准备一组未摆姿势的多视图图像。

2. 将这些图像输入到LucidFusion框架中。

3. 利用框架中的Stable Diffusion模型对图像进行前馈处理。

4. 模型预测输入图像的RCM表示。

5. 将VAE的最后一层的特征图输入到解码器网络中，预测高斯参数。

6. 将RCM表示和预测的高斯参数融合，传递给高斯渲染器以生成新视图进行监督。

7. 根据需要调整参数，优化3D模型的质量和细节。

8. 输出最终的3D高斯模型，用于进一步的应用或分析。