使用场景

研究人员使用 ESFT 微调模型以提高在自然语言处理任务上的表现。

开发者利用 ESFT 优化模型，以适应特定行业的语言处理需求。

教育机构采用 ESFT 来定制教学辅助模型，提高教学互动性。

产品特色

安装依赖并下载必要的适配器以快速启动。

使用 eval.py 脚本来评估模型在不同数据集上的性能。

使用 get_expert_scores.py 脚本来计算每个专家基于评估数据集的分数。

使用 generate_expert_config.py 脚本来生成配置，以转换仅基于任务相关任务训练的 MoE 模型。

使用教程

1. 克隆或下载 ESFT 项目到本地。

2. 进入 esft 目录，安装所需的依赖项。

3. 下载必要的适配器以适配不同的大型语言模型。

4. 使用 eval.py 脚本来评估模型在特定数据集上的性能。

5. 根据评估结果，使用 get_expert_scores.py 脚本来计算专家分数。

6. 使用 generate_expert_config.py 脚本来生成配置，优化模型结构。

7. 根据生成的配置调整模型，进行进一步的训练和测试。