使用场景

《千与千寻》动画电影的线稿上色

《大鱼海棠》动画电影的色彩化处理

《猫先生》动画短片的动态场景色彩化

产品特色

Sketch-guided ControlNet：通过线稿引导的控制网络，为视频合成提供额外控制。

Reference Attention：促进参考帧到其他帧的颜色转移，处理快速和大幅度运动。

Overlapped Blending Module：重叠混合模块，用于长视频色彩化。

Prev-Reference Attention：前参考注意力机制，用于生成长视频时保持时间连贯性。

大规模预训练视频扩散模型：利用大规模预训练模型生成色彩化动画视频。

时间连贯性增强：通过序列采样和注意力机制，提高视频色彩化的时间连贯性。

高质量输出：生成高帧质量和视频质量的动画视频。

使用教程

1. 准备线稿视频和参考帧

2. 使用Sketch-guided ControlNet进行初步上色

3. 应用Reference Attention进行颜色转移

4. 利用Overlapped Blending Module处理视频的长序列上色

5. 通过Prev-Reference Attention确保视频的时间连贯性

6. 进行模型的微调以适应特定的动画风格

7. 利用预训练的视频扩散模型生成最终的色彩化视频

8. 评估并调整上色结果以满足质量要求