使用场景

视频编辑师使用PortraitGen快速生成个性化肖像视频。

游戏开发者利用PortraitGen为游戏角色创建多样化的表情和动作。

动画制作者使用PortraitGen进行角色设计和动画制作。

产品特色

多模态肖像编辑：使用InstructPix2Pix作为2D编辑模型，实现文本驱动和图像驱动编辑。

风格迁移：利用神经风格迁移算法将参考图像的风格转移到数据集帧上。

虚拟试穿：使用AnyDoor技术改变主体的服装。

重光照：使用IC-Light技术根据文本描述调整视频帧的光照条件。

表情相似性引导：通过EMOCA的潜在表情空间优化，保持表情自然一致。

人脸感知肖像编辑：增强对面部结构的感知，通过两次编辑提高编辑的鲁棒性。

迭代数据集更新策略：通过迭代更新数据集，提高编辑效果。

使用教程

1. 访问PortraitGen网站。

2. 选择编辑模式：文本驱动编辑、图像驱动编辑或重光照。

3. 上传需要编辑的2D肖像视频。

4. 输入文本指令或选择参考图像，根据需要进行风格迁移或虚拟试穿。

5. 调整光照条件，如果需要的话。

6. 进行人脸感知肖像编辑，确保面部结构的准确性。

7. 通过迭代数据集更新策略优化编辑效果。

8. 预览编辑后的3D肖像视频。

9. 导出编辑完成的视频。