使用场景

专业摄影师使用 MagicFixup 快速修复拍摄中出现的小瑕疵。

设计师利用该模型在设计项目中实现快速图像调整。

图像编辑爱好者通过 MagicFixup 学习并实践高级图像编辑技巧。

产品特色

自动化图像修复：自动识别并修复图像中的缺陷。

动态视频学习：通过观察动态视频学习图像编辑技巧。

深度学习技术：基于 Stable Diffusion 1.4 模型进行训练。

用户友好的界面：通过 gradio 演示，提供友好的用户界面。

自定义模型训练：支持用户使用自己的视频数据集训练模型。

环境配置文件：提供 environment.yaml 文件简化安装过程。

内存优化：使用 Deepspeed 技术降低内存需求。

使用教程

1. 下载并安装所需的环境依赖，通过运行提供的脚本创建 conda 环境。

2. 使用提供的 Google Drive 链接下载预训练的 Magic Fixup 模型。

3. 准备需要编辑的原始图像和编辑后的图像，确保编辑图像中的 alpha 通道正确设置。

4. 运行 inference 脚本 `run_magicfu.py`，输入参考图像和编辑图像的路径。

5. 启动 gradio 演示，通过用户界面测试输入并查看编辑效果。

6. 如需训练自定义模型，需先处理视频数据集，然后使用 `main.py` 训练模型。

7. 根据需要修改配置文件中的训练和验证数据路径，以指向已处理的数据位置。