使用场景

开发者使用Open-LLM-VTuber创建一个可以进行多语言对话的虚拟助手。

教育机构利用该项目来教授学生自然语言处理的基础知识。

技术爱好者使用Open-LLM-VTuber来开发个性化的AI聊天机器人。

产品特色

支持与任何OpenAI-API兼容的大型语言模型后端进行语音交互。

可以自定义选择语音识别和文本到语音合成的提供者。

集成MemGPT以实现长期记忆功能，提供持续的聊天体验。

支持Live2D模型，根据LLM响应自动控制面部表情。

能够在macOS上利用GPU加速，显著降低延迟。

支持多种语言，包括中文。

允许完全离线运行，保护用户隐私。

使用教程

安装必要的依赖项，如FFmpeg和Python虚拟环境。

克隆Open-LLM-VTuber的代码库到本地。

根据需要配置项目中的conf.yaml文件，选择语音识别和语音合成的后端。

运行server.py启动WebSocket通信服务器。

打开index.html文件以启动前端界面。

运行launch.py或main.py以启动后端处理。

通过语音与大型语言模型进行交互，观察Live2D模型的实时反应。