使用场景

电影制作中，用于生成逼真的虚拟角色。

游戏开发中，用于创建具有高度真实感的NPC面部动画。

数字艺术领域，艺术家利用该技术创作独特的艺术作品。

产品特色

使用现成的3D面部重建方法、面部解析映射（FPM）模型和Mediapipe处理输入视频，提取每帧的3D面部重建（3DMM）、FPM和虹膜位置。

并行训练两个ControlNets，分别生成时间稳定的轮廓（第一阶段）和内部细节（第二阶段），生成逼真的个人化身。

个人化身可以通过文本进一步变形为名人，无需额外微调。

使用前一帧的预测，修改DDIM步骤t=τ的推理，以考虑前一帧，从而实现时间平滑输出。

面部变形功能，可以将个人化身变形为特定名人，如Scarlet Johansson或Emma Watson，并保持头部姿态一致性。

与当前单目头部化身方法的比较，展示其优越性。

通过消融研究，分析变形因子、输入控制和去噪过程变量对结果的影响。

使用教程

1. 访问Stable Video Portraits的官方网站。

2. 阅读有关该技术的研究论文和方法概述。

3. 下载并安装所需的软件和库。

4. 准备输入视频，确保视频质量满足3D面部重建的要求。

5. 使用3D面部重建方法、FPM模型和Mediapipe提取视频中的3DMM、FPM和虹膜位置。

6. 训练ControlNets以生成轮廓和内部细节。

7. 利用时间去噪过程生成时间平滑的视频输出。

8. 如有需要，通过文本输入调整个人化身的面部特征，以匹配特定名人的形象。