使用场景

DeepL的MLOps工程师使用Evidently日常测试数据质量和监控生产数据漂移。

Wise的高级数据科学家和AI负责人使用Evidently监控生产环境中的数据分布，并将模型性能指标直接链接到训练数据。

PlushCare的高级数据工程师使用Evidently持续监控业务关键的ML模型，并在CI/CD和模型监控DAGs中直接标记模型漂移和数据质量问题。

产品特色

LLM可观测性：评估从RAGs到AI助手的LLM驱动产品。

ML可观测性：监控生产ML模型的数据漂移、数据质量和性能。

开源：拥有超过20万次下载的开源Python库。

自定义仪表板：在部署前后清晰地查看AI产品性能，并与团队轻松共享结果。

持续测试：评估生成的输出，确保准确性、安全性和质量。

深入调试：理解个别错误，将不良完成情况转化为测试用例以持续改进应用。

预测性ML：评估预测任务的输入和输出质量，包括分类、回归、排名和推荐。

使用教程

1. 访问Evidently AI官网并注册账户或开始免费试用。

2. 根据需要选择评估、测试或监控功能。

3. 利用Evidently的自定义仪表板和持续测试功能，对AI产品进行深入分析和评估。

4. 设计自定义的AI质量系统，使用内置的100+指标或添加自定义指标。

5. 通过Evidently的深入调试功能，理解并改进个别错误。

6. 利用数据漂移和数据质量监控功能，确保模型输入和输出的稳定性。

7. 跟踪模型性能，确保模型在部署、重新训练和更新时符合预期。