使用场景

作为语音代理，处理用户的语音查询并提供文本回复。

进行语音到语音的翻译，将一种语言的语音转换为另一种语言的语音输出。

分析口语音频，提取关键信息并生成文本摘要。

产品特色

• 语音和文本输入处理：能够同时处理语音和文本输入，提高交互的自然性和灵活性。

• 特殊伪标记<|audio|>：通过该标记，模型能够识别并处理音频输入。

• 音频嵌入：将输入音频转换为嵌入，与文本提示合并后生成输出文本。

• 多模态适配器训练：仅训练多模态适配器，保持Whisper编码器和Llama冻结。

• 知识蒸馏损失：通过知识蒸馏损失，Ultravox尝试匹配基于文本的Llama骨干的logits。

• 支持多种语言：支持15种语言，增强了模型的国际化应用能力。

• 模型参数：拥有58.7M参数，使用BF16张量类型，提高了模型的计算效率。

使用教程

1. 安装必要的库：使用pip安装transformers、peft和librosa库。

2. 导入库：在代码中导入transformers、numpy和librosa库。

3. 加载模型：使用transformers.pipeline加载'fixie-ai/ultravox-v0_4_1-llama-3_1-70b'模型。

4. 音频处理：使用librosa库加载音频文件并获取音频数据和采样率。

5. 定义交互：定义一个包含系统角色和内容的turns列表。

6. 调用模型：将音频数据、turns列表和采样率作为参数调用模型，并设置max_new_tokens参数以控制生成文本的长度。

7. 获取结果：模型将生成文本输出，可以用于进一步的处理或直接展示给用户。