使用场景
用于开发自然语言理解的应用程序
在数学问题解决中提供精确的计算支持
作为专业领域知识获取和推理的辅助工具
产品特色
混合专家(MoE)模型，拥有32个专家，其中2个活跃
采用新的注意力路由网络，提高模型选择专家的效率
从零开始训练，使用了2000B个token，训练计算量低
在编码、数学和专业领域表现出色，具有竞争力
在MATH和ARC-Challenge基准测试中超越其他模型
模型操作仅使用3.7B个活跃参数，计算效率高
使用教程
1. 配置环境，推荐使用Yuan2.0-M32的最新docker镜像
2. 根据提供的脚本进行数据预处理
3. 使用示例脚本进行模型预训练
4. 参考vllm的详细部署计划进行推理服务部署
5. 查看GitHub仓库以获取更多信息和文档
