使用场景
分析图像并生成描述性文本。
进行多语言文本理解与生成。
支持长文本的深入对话与分析。
产品特色
多模态分析:能够同时处理文本和视觉输入,提供深入分析。
多语言支持:支持多达几十种语言,适合全球用户。
大上下文窗口:具有 128k 的上下文窗口,能够处理长文本。
开源许可:采用 Apache 2.0 许可证,支持商业与非商业使用。
高效标记器:使用 Tekken 标记器,具备 131k 词汇量。
使用教程
安装 vLLM 库:使用 pip 安装最新版本的 vLLM 库。
下载模型:通过指定模型名称加载 Mistral-Small-3.1-24B-Base-2503。
准备输入:根据需要准备文本和图像输入。
编码输入:使用模型的编码器将输入转换为模型所需的格式。
生成输出:调用模型生成基于输入的结果。