使用场景

游戏开发者使用MiniMates为游戏角色快速生成逼真的面部表情和语音。

动画师利用MiniMates创建虚拟主播，进行实时的直播和互动。

教育工作者使用MiniMates制作教学辅助材料，通过AI伙伴提高学生的学习兴趣。

产品特色

极速体验：无需独立显卡，CPU即可实现实时数字人表情和语音驱动。

个性化定制：支持one-shot单图驱动，最低只需一张图片即可驱动数字人。

嵌入终端：无需依赖Python和CUDA，可在多种设备上运行。

支持语音驱动和表情驱动：可以根据语音和面部表情实时驱动数字人。

实时相机表情驱动：使用mediapipe完成ARkit表情捕捉，实现实时表情驱动。

多种驱动模式：支持旋转驱动、音频驱动和混合驱动。

跨平台支持：支持在Windows、Mac和Linux等多种操作系统上运行。

使用教程

1. 获取预训练模型并放置于项目目录下的checkpoint文件夹中。

2. 创建Python环境并安装所需依赖，如torch和requirements.txt中列出的库。

3. 若需要人像抠图，使用提供的matting.py脚本处理图片。

4. 使用interface_face.py脚本和摄像头进行快速尝试，观察图片人物随头部运动。

5. 利用generate_move_template.py根据视频生成表情模版。

6. 通过interface_audio.py脚本，让图片人物按照语音文件和表情模版生成视频。

7. 根据需要调整算法参数，优化数字人的表现。