使用场景
在编程领域，Yuan2.0-M32可以用于代码生成和代码质量评估。
在数学领域，模型可以进行复杂的数学问题求解和逻辑推理。
在专业领域，如医疗或法律，Yuan2.0-M32可以辅助专业人士进行知识检索和文档分析。
产品特色
混合专家(MoE)模型，具有32个专家，其中2个活跃。
使用注意力路由器进行更高效的专家选择。
从头开始训练，使用2000亿个token。
训练计算量仅占同等参数规模模型的9.25%。
在编码、数学和专业领域表现出竞争力。
具有较低的前向计算需求，每个token仅需7.4 GFLOPS。
在MATH和ARC-Challenge基准测试中表现优异。
使用教程
1. 配置环境，使用推荐的docker镜像启动Yuan2.0容器。
2. 根据文档说明，进行数据预处理。
3. 使用提供的脚本进行模型预训练。
4. 参考vllm的详细部署计划，进行推理服务的部署。
5. 访问GitHub仓库获取更多信息和文档。
6. 遵守Apache 2.0开源许可协议，了解并遵守'Yuan2.0模型许可协议'。
