使用场景

使用 PaliGemma 2 mix 为短视频生成精准字幕，提升内容可读性。

通过图像问答功能，帮助用户快速获取图像中的关键信息。

在医学图像分析中，利用分割功能辅助医生进行诊断。

产品特色

支持多种任务，如短长字幕生成、OCR、图像问答、目标检测和分割

提供多种模型大小（3B、10B、28B 参数）和分辨率（224px 和 448px），满足不同需求

兼容多种开发框架，包括 Hugging Face Transformers、Keras、PyTorch、JAX 等

无需更改即可直接升级自原始 PaliGemma 模型

提供详细的官方文档和示例代码，方便开发者快速上手

支持在 Vertex Model Garden 中直接部署和微调

可通过 Hugging Face 演示快速体验模型能力

模型性能在多种任务中表现出色，适合多种应用场景

使用教程

1. 访问 Hugging Face 演示页面，快速体验 PaliGemma 2 mix 的功能。

2. 在 Kaggle 或 Hugging Face 下载模型权重，获取本地使用权限。

3. 使用 Keras 推理笔记本在 Google Colab 或本地环境中运行模型。

4. 在 Vertex Model Garden 中直接部署和微调模型，适配特定任务或领域。

5. 根据官方文档学习如何通过提示语法指定任务，例如 'caption en' 用于生成字幕。

6. 使用 Hugging Face Transformers 示例代码进行微调和部署，快速集成到现有项目。

7. 参考官方示例笔记本，了解如何在不同框架中使用 PaliGemma 2 mix。

8. 根据实际需求选择合适的模型大小和分辨率，优化性能和资源消耗。