使用场景

案例一：使用Whisper-NER对会议录音进行转录，并识别会议中提及的公司和地点。

案例二：在安全监控系统中，使用Whisper-NER实时转录监控音频并识别可疑活动。

案例三：在客户服务领域，通过Whisper-NER分析客户反馈的语音记录，自动识别客户提及的问题和需求。

产品特色

- 联合音频转录和命名实体识别：Whisper-NER可以在转录语音的同时识别实体。

- 支持开放类型的NER：能够识别和适应不断变化的实体类型。

- 强大的基础模型：适用于自动语音识别和命名实体识别的下游任务。

- 微调能力：可以在特定数据集上进行微调，以提高模型性能。

- 基于NuNER数据集训练：确保模型在英语数据上的性能。

- 支持多实体标签：用户可以通过逗号分隔的方式指定多个实体标签。

- 高效的推理过程：提供了详细的代码示例，方便用户进行推理。

使用教程

1. 安装必要的库，如torch和transformers。

2. 从Hugging Face加载预训练的WhisperProcessor和WhisperForConditionalGeneration模型。

3. 准备音频文件，并将其加载到模型中。

4. 设置实体标签，如'person, company, location'。

5. 使用模型进行推理，生成token ids。

6. 将token ids后处理成文本，并去除prompt。

7. 分析转录结果和识别的实体，以获取所需信息。