使用场景
在软件测试中,UI-TARS 可以自动检测和修复 GUI 中的问题。
在自动化办公场景中,UI-TARS 可以自动完成文档处理、数据输入等任务。
在网页自动化中,UI-TARS 可以自动完成网页浏览、表单填写和信息提取等操作。
产品特色
支持桌面、移动和网页环境的统一动作框架,实现跨平台交互。
通过多步轨迹和推理训练,能够处理复杂任务。
结合大规模注释和合成数据集,提升泛化能力和鲁棒性。
具备实时交互能力,能够动态监测 GUI 并实时响应变化。
支持系统 1 和系统 2 推理,结合直觉反应和高级规划。
提供任务分解和反思功能,支持多步规划和错误纠正。
具备短期和长期记忆,用于情境感知和决策支持。
提供多种推理和定位能力评估指标,性能优于现有模型。
使用教程
1. 访问 [Hugging Face Inference Endpoints](https://huggingface.co/inference-endpoints) 或本地部署模型。
2. 使用提供的 Prompt 模板(移动或电脑场景)构建输入指令。
3. 将本地截图进行 Base64 编码,并与指令一起发送到模型接口。
4. 模型返回推理结果,包括动作摘要和具体操作。
5. 根据返回的动作指令在目标设备上执行操作。