使用场景

在HumanEval数据集上自动生成和优化工作流，提高任务执行效率。

使用MATH数据集进行实验，验证AFlow在数学问题解答上的应用效果。

通过GSM8K数据集测试AFlow在科学问题解答中的性能和准确性。

产品特色

- 节点(Node)：LLM调用的基本单元，提供接口控制LLM、温度、格式和提示。

- 操作符(Operator)：预定义的节点组合，提高搜索效率，封装常见操作。

- 工作流(Workflow)：LLM调用节点的序列，可表示为图、神经网络或代码。

- 优化器(Optimizer)：使用LLM在蒙特卡洛树搜索变体中探索和完善工作流。

- 评估器(Evaluator)：评估工作流性能，提供反馈以指导优化过程。

- 支持自定义操作符和工作流，适应特定数据集和任务。

- 提供实验数据集和自定义数据集的支持，方便用户进行实验和评估。

使用教程

1. 配置优化参数，包括数据集类型、样本数量、优化结果保存路径等。

2. 在config/config2.yaml中配置LLM参数，可以参考examples/aflow/config2.example.yaml。

3. 在optimize.py以及optimized_path/template/operator.py和operator.json中设置操作符。

4. 首次使用时，在examples/aflow/optimize.py中设置download(['datasets', 'initial_rounds'])以下载数据集和初始轮次。

5. （可选）添加自定义数据集和相应的评估函数。

6. （可选）如果需要使用部分验证数据，可以在examples/aflow/evaluator.py中设置va_list。

7. 运行优化，使用默认参数或自定义参数启动优化过程。