使用场景
研究人员使用该模型来提高解决数学竞赛问题的能力。
学生利用该模型来学习和理解复杂的数学概念。
教育工作者使用该模型作为教学辅助工具，帮助学生掌握数学问题解决技巧。
产品特色
微调DeepSeekMath-Base 7B模型以解决数学问题
使用两个高质量的数学问题和解决方案数据集进行训练
自洽解码算法生成解决方案候选项
使用来自AMC、AIME和MATH的验证集指导模型选择
使用开源库TRL、PyTorch、vLLM和DeepSpeed训练模型
模型训练分为两个阶段：CoT训练和TIR训练
使用教程
1. 创建Python虚拟环境并激活。
2. 安装特定版本的PyTorch以确保可重复性。
3. 安装其他必要的包依赖。
4. 安装Flash Attention 2。
5. 登录Hugging Face账户。
6. 安装Git LFS以推送模型到Hugging Face Hub。
7. 根据MuMath-Code配方进行两阶段训练：CoT训练和TIR训练。
8. 训练完成后，使用AutoGPTQ进行模型的8位量化（可选）。
