使用场景
开发者可以使用它来创建一个可以与用户文档进行语音交互的聊天机器人。
技术爱好者可以利用这个项目来学习如何将语音识别和自然语言处理技术集成到他们的项目中。
研究者可以利用这个项目来探索实时语音交互在文档分析和处理中的潜在应用。
产品特色
使用OpenAI实时API进行语音交互
支持手动模式和声音活动检测(VAD)模式
可以自由打断模型的回应
支持使用自己的文档进行交互
项目基于LlamaIndexTS构建，提供Typescript特性
需要在项目中设置OpenAI API密钥
通过命令行工具启动开发服务器
使用教程
首先，安装项目依赖。
其次，生成位于./data目录下文档的嵌入向量。
然后，运行开发服务器。
打开浏览器访问http://localhost:3000查看结果。
在启动时，输入API密钥。
开始会话，需要连接麦克风。
选择手动或VAD会话模式，并在需要时切换。
在会话中，可以随时打断模型的回应。
