使用场景

在自动化测试中，OmniParser V2 可以快速识别界面元素并执行测试脚本。

在智能客服场景中，OmniParser V2 能够解析用户界面并提供精准的操作建议。

结合 GPT-4o，OmniParser V2 在高分辨率屏幕的 GUI 接地任务中表现出色。

产品特色

将 UI 截图转换为结构化元素，便于 LLM 理解。

检测小图标并准确关联屏幕上的交互区域。

支持与多种 LLM（如 OpenAI、DeepSeek、Qwen 等）结合使用。

提供 OmniTool 工具，加速实验和开发流程。

通过减少图标标题模型的图像大小，降低推理延迟。

使用教程

1. 从 GitHub 下载 OmniParser V2 的代码。

2. 安装 OmniTool 工具，配置所需的 LLM 环境。

3. 使用 OmniParser V2 对 UI 截图进行解析，提取结构化元素。

4. 将解析结果输入到所选的 LLM 中，生成交互指令。

5. 在目标系统中执行生成的指令，完成自动化任务。