使用场景

在OpenCompass Learderboard上，InternVL2.5-MPO系列模型在多个基准测试中表现优异，包括MMBench v1.1、MMStar等。

InternVL2_5-8B-MPO在图像描述、故事生成和诗歌创作等多模态任务中展现出色的能力。

模型支持视频多轮对话，能够根据视频内容生成详细的描述和回答相关问题。

产品特色

• 多模态大型语言模型：集成视觉和语言部分，处理图像和文本数据。

• 混合偏好优化（MPO）：结合偏好损失、质量损失和生成损失，优化模型性能。

• 动态分辨率策略：将图像分割成448×448像素的瓦片，提高处理效率。

• 支持多图像和视频数据：扩展模型处理能力，适应更广泛的应用场景。

• 增量预训练：使用新的InternViT和预训练的大型语言模型进行增量预训练。

• 高效的数据处理流程：开源的数据构建流程，支持构建大规模多模态数据集。

使用教程

1. 安装必要的库，如torch、transformers和decord。

2. 使用AutoModel.from_pretrained加载InternVL2_5-8B-MPO模型。

3. 通过AutoTokenizer从同一路径加载对应的分词器。

4. 预处理输入图像，包括调整大小、归一化和分割。

5. 将预处理后的图像和文本输入模型，进行多模态任务。

6. 根据需要，使用模型的chat函数进行对话或生成文本。

7. 分析模型输出，获取所需的信息或进一步处理。