使用场景

在智能客服系统中，通过Megrez-3B-Omni模型理解用户上传的图片和语音信息，提供更准确的服务。

在教育领域，利用模型的多模态能力，开发辅助教学工具，帮助学生更好地理解和记忆知识点。

在智能家居领域，通过模型实现对家庭设备的语音控制，提升用户体验。

产品特色

图像理解：基于SigLip-400M构建图像Token，在OpenCompass榜单上平均得分66.2，超越其他更大参数规模的模型。

文本处理：保持在C-EVAL、MMLU/MMLU Pro、AlignBench等多个测试集上的最优精度优势。

语音理解：采用Qwen2-Audio/whisper-large-v3的Encoder作为语音输入，支持中英文语音输入及多轮对话。

多模态交互：支持图文/图音等多种模态和模型进行交互。

端侧部署：模型设计考虑端侧部署，适用于对响应速度和数据处理有要求的应用场景。

高精度：在多个主流多模态评测基准上取得领先精度。

开源协议：遵循Apache-2.0协议开源，可自由使用和修改。

使用教程

1. 安装必要的环境和库，如torch和transformers。

2. 从Hugging Face网站下载Megrez-3B-Omni模型。

3. 根据提供的代码示例，设置模型路径并加载模型。

4. 准备输入数据，包括文本、图像和音频等。

5. 通过模型的chat函数，传入准备好的消息和内容，进行多模态交互。

6. 获取模型的响应，并根据需要进行后续处理。

7. 根据使用场景，可以调整模型参数，如max_new_tokens、temperature等，以优化性能。