使用场景

在自动问答系统中，利用rStar提升问题回答的准确性。

在自然语言推理任务中，使用rStar提高模型的推理正确率。

在智能对话系统中，通过rStar增强对话的连贯性和逻辑性。

产品特色

自我博弈相互推理：通过自博弈的方式，提升小型语言模型的推理能力。

蒙特卡洛树搜索（MCTS）：结合人类推理动作，构建高质量的推理轨迹。

SLMs鉴别器验证：使用另一个SLM作为鉴别器，验证推理轨迹的正确性。

无需微调或高级模型：直接提升现有模型的推理能力。

广泛的实验验证：在多个SLMs上进行实验，证明其有效性。

显著提升推理问题解决率：如GSM8K问题解决率显著提高。

使用教程

1. 准备Python 3.10、CUDA 12、最新版PyTorch、transformers和vllm环境。

2. 克隆rStar的GitHub仓库到本地。

3. 根据需要调整run_gsm8k_generator.sh脚本中的参数，如数据集名称、模型检查点路径等。

4. 运行rStar生成器，通过执行run_gsm8k_generator.sh脚本开始生成推理轨迹。

5. 使用rStar鉴别器验证生成的推理轨迹，确保推理的正确性。

6. 分析实验结果，评估rStar在特定任务上的表现。

7. 根据实验结果调整模型参数或推理策略，以进一步提升性能。