使用场景

使用RAGElo评估不同RAG管道对问答任务的影响

利用RAGElo进行LLM代理的批量评估，以优化问答系统

将RAGElo集成到生产流程中，自动评估和选择最佳的LLM代理

产品特色

使用Elo评级系统评估RAG增强的LLM代理

支持Python库和独立CLI应用程序两种使用方式

提供自定义提示和元数据注入功能，以增强评估过程

支持批量评估，允许同时评估多个响应

CLI模式下，期望输入文件为CSV格式，简化数据输入

提供工具组件，如检索评估器、答案注释器和代理排名器

支持Python 3.8，适应最新的编程环境

使用教程

1. 安装RAGElo：使用pip命令安装RAGElo库或CLI应用程序。

2. 导入RAGElo：在Python代码中导入RAGElo模块。

3. 初始化评估器：根据需要选择适当的评估器并进行初始化。

4. 进行评估：使用evaluate或batch_evaluate方法对单个或多个响应进行评估。

5. 自定义提示：根据评估需求，编写自定义提示并注入元数据。

6. 分析结果：查看评估结果，根据排名选择最优的LLM代理。

7. 批量处理：如果需要评估大量数据，使用CLI模式并准备相应的CSV文件。