使用场景

使用SmolVLM为曼谷大皇宫提供旅行建议。

根据图表识别严重干旱发生的地区。

从发票中提取到期日和发票日期。

产品特色

支持多模态AI，能够在较小的本地设置中使用。

完全开源，允许商业使用和自定义部署。

内存占用小，适合在资源受限的设备上运行。

性能优异，提供了包括图像编码效率在内的多项基准测试结果。

支持视频分析任务，尤其是在计算资源有限的情况下。

与VLMEvalKit集成，方便在更多基准上进行评估。

可以通过Transformers库轻松加载和使用。

使用教程

1. 访问SmolVLM的Hugging Face页面并下载所需的模型和处理器。

2. 使用Python和Transformers库加载模型和处理器。

3. 准备输入数据，包括图像和文本提示。

4. 通过处理器将输入数据格式化为模型可接受的格式。

5. 使用模型生成输出，如描述图像内容或回答与图像相关的问题。

6. 对生成的输出进行解码和后处理，以获取最终结果。

7. （可选）根据特定任务对SmolVLM进行微调，以提高性能。