UI TARS

使用场景在软件测试中,UI-TARS 可以自动检测和修复 GUI 中的问题。在自动化办公场景中,UI-TARS 可以自动完成文档处理、数据输入等任务。在网页自动...

  • UI TARS

    类别:自动化工作流,AI模型,人工智能,自动化,GUI,多模态,推理,定位,跨平台,中文精选,开源,
    官网:https://github.com/bytedance/UI-TARS 更新时间:2025-08-02 10:19:54
  • 使用场景

    在软件测试中,UI-TARS 可以自动检测和修复 GUI 中的问题。

    在自动化办公场景中,UI-TARS 可以自动完成文档处理、数据输入等任务。

    在网页自动化中,UI-TARS 可以自动完成网页浏览、表单填写和信息提取等操作。

    产品特色

    支持桌面、移动和网页环境的统一动作框架,实现跨平台交互。

    通过多步轨迹和推理训练,能够处理复杂任务。

    结合大规模注释和合成数据集,提升泛化能力和鲁棒性。

    具备实时交互能力,能够动态监测 GUI 并实时响应变化。

    支持系统 1 和系统 2 推理,结合直觉反应和高级规划。

    提供任务分解和反思功能,支持多步规划和错误纠正。

    具备短期和长期记忆,用于情境感知和决策支持。

    提供多种推理和定位能力评估指标,性能优于现有模型。

    使用教程

    1. 访问 [Hugging Face Inference Endpoints](https://huggingface.co/inference-endpoints) 或本地部署模型。

    2. 使用提供的 Prompt 模板(移动或电脑场景)构建输入指令。

    3. 将本地截图进行 Base64 编码,并与指令一起发送到模型接口。

    4. 模型返回推理结果,包括动作摘要和具体操作。

    5. 根据返回的动作指令在目标设备上执行操作。