使用场景

NVIDIA使用FlagPerf测试其A100芯片的性能。

百度PaddlePaddle团队利用FlagPerf集成Llama模型进行性能评估。

华为昇思MindSpore团队通过FlagPerf测试框架性能。

产品特色

构建多维度评测指标体系，包含性能指标、资源使用指标及生态适配能力指标。

支持多样例场景及任务，覆盖计算机视觉、自然语言处理等领域的30余个经典模型。

支持多训练框架及推理引擎，如PyTorch、TensorFlow，并与PaddlePaddle、MindSpore等国产框架合作。

支持多测试环境，综合考察单卡、单机、多机性能。

严格审核参评代码，确保测试过程公正、结果公平。

开源所有测试代码，确保测试过程、数据可复现。

使用教程

1. 安装docker和python环境。

2. 确保硬件驱动、网络、硬件虚拟化等服务器基础配置齐全。

3. 下载FlagPerf项目代码并部署到服务器。

4. 修改机器配置文件，包括硬件配置和测试环境设置。

5. 启动测试，根据需要选择基础规格评测、算子评测、训练评测或推理评测。

6. 查看测试结果和日志，分析AI硬件的性能表现。