使用场景

研究人员使用该模型评估不同对话系统中的助手回答。

开发者利用模型评分来优化他们的聊天机器人的对话质量。

教育机构使用该模型来评估和提高教学助手的交互质量。

产品特色

评估助手回答的五个属性：有用性、正确性、连贯性、复杂性和冗余性。

可以作为传统奖励模型输出单一标量。

使用HelpSteer2数据集进行训练，提高模型性能。

与NVIDIA NeMo-Aligner兼容，支持数据和模型并行训练。

所有检查点与NeMo生态系统兼容，支持推理部署和进一步定制。

在RewardBench Primary Dataset LeaderBoard上表现优异。

使用教程

1. 从NVIDIA的Hugging Face页面下载Llama3-70B-SteerLM-RM模型。

2. 根据SteerLM训练用户指南使用NeMo Aligner启动推理服务器。

3. 使用推理服务器对数据文件进行标注。

4. 根据SteerLM训练用户指南训练SteerLM模型。

5. 使用标注的数据文件训练模型以提高其评估能力。

6. 将训练好的模型部署到实际应用中，进行语言模型输出的评估和优化。