使用场景

在大规模文档中进行信息检索

对代码库进行语义搜索以找到相关函数或模块

在大型语料库中进行文本分类和语义搜索

产品特色

支持长达8192个token的长文本处理能力

Rotary Positional Embeddings (RoPE) 支持长上下文

Local-Global Alternating Attention 提升长输入的效率

Unpadding和Flash Attention 优化推理效率

适用于大规模文本和代码数据的预训练

无需token type IDs，简化了下游任务的使用

支持使用Flash Attention 2以获得更高的效率

使用教程

1. 安装transformers库：使用pip安装git+https://github.com/huggingface/transformers.git。

2. 加载模型和分词器：使用AutoTokenizer和AutoModelForMaskedLM从预训练模型加载分词器和模型。

3. 准备输入文本：将待处理的文本输入到分词器中，获取模型需要的输入格式。

4. 模型推理：将处理好的输入数据传递给模型，进行推理。

5. 获取预测结果：对于Masked Language Model任务，获取模型对[MASK]位置的预测结果。

6. 应用下游任务：对于分类、检索或问答等任务，可以对ModernBERT进行微调以适应特定任务。

7. 使用Flash Attention 2优化效率：如果GPU支持，安装flash-attn库并使用以获得更高的推理效率。