使用场景

- 语音问答：如何不用火种生火。

- 语音对话：我今天工作不顺。

- 创意内容生成：写一首关于秋天落叶的俳句。

- 会议记录总结：能总结这次会议记录吗？

- 改变语调：可以使这个更随意吗？

产品特色

- 音频语言模型：能够处理文本和音频输入，适用于多种场景。

- 边缘部署：支持在智能手机、笔记本电脑和机器人等边缘设备上直接部署。

- 高效架构：将ASR和LLM模型能力统一，减少延迟和资源开销。

- 性能优异：在消费级硬件上性能是同类产品的5.5倍到10.3倍。

- 多用途：可用于语音问答、语音对话、创意内容生成等多种用途。

- 模型架构：集成了Gemma-2B、Whisper turbo和自定义投影模块。

- 训练方法：通过三阶段训练流程确保在转录和对话任务上的稳健性能。

- 未来展望：正在开发直接音频生成能力和通过Octopus_v2集成的功能调用支持。

使用教程

1. 安装Nexa SDK：访问Nexa AI的GitHub页面，下载并安装Nexa SDK。

2. 运行OmniAudio：在终端中输入'nexa run omniaudio'来运行模型。

3. 使用Streamlit UI：如果需要本地UI界面，可以输入'nexa run omniaudio -st'来启动。

4. 检查系统要求：确保设备满足OmniAudio-2.6B q4_K_M版本的1.30GB RAM和1.60GB存储空间要求。

5. 探索HuggingFace Space：访问HuggingFace Space上的NexaAIDev/omni-audio-demo来体验产品。

6. 集成到项目中：根据项目需求，将OmniAudio-2.6B集成到你的应用程序或系统中。