使用场景

在大规模语言模型中扩展词汇表和参数容量，而不增加计算负担.

用于自然语言处理任务中的信息检索和存储优化.

在分布式训练环境中高效运行大规模模型.

产品特色

支持大规模数据处理

通过键值查找机制扩展模型参数

保持计算效率不变

适用于分布式训练

支持多种数据集和配置

提供详细的配置和启动脚本

支持本地和SLURM集群部署

灵活的模型评估功能

使用教程

克隆仓库：`git clone https://github.com/facebookresearch/memory`

创建环境：`bash setup/create_env.sh` 或使用SLURM集群

激活环境：`conda activate lingua_`

下载和准备数据：`python setup/download_prepare_hf_data.py fineweb_edu `

下载分词器：`python setup/download_tokenizer.py llama3 `

启动训练任务：`python -m lingua.stool script=apps.main.train config=apps/main/configs/pkplus_373m_1024k.yaml`

进行模型评估：`srun -n 8 python -u -m apps.main.eval config=apps/main/configs/eval.yaml`