使用场景

使用UniAnimate为电影制作生成高质量的人物动画。

在游戏开发中，利用UniAnimate生成连贯的人物动作序列。

虚拟现实体验中，通过UniAnimate创建逼真的人物动态效果。

产品特色

使用CLIP编码器和VAE编码器提取给定参考图像的潜在特征。

将参考姿势的表示纳入最终参考指导，以便于学习参考图像中的人体结构。

使用姿势编码器对目标驱动的姿势序列进行编码，并与噪声输入沿通道维度进行连接。

将连接的噪声输入与参考指导沿时间维度堆叠，并输入到统一视频扩散模型中以去除噪声。

在统一视频扩散模型中，时间模块可以是时间Transformer或时间Mamba。

采用VAE解码器将生成的潜在视频映射到像素空间。

使用教程

首先，准备一张参考图像和一系列目标姿势序列。

使用CLIP编码器和VAE编码器提取参考图像的潜在特征。

将参考姿势的表示与潜在特征结合，形成参考指导。

通过姿势编码器对目标姿势序列进行编码，并与噪声视频结合。

将结合后的输入数据输入到统一视频扩散模型中进行噪声去除。

根据需要选择时间模块，可以是时间Transformer或时间Mamba。

最后，使用VAE解码器将处理后的潜在视频转换为像素级的视频输出。