使用场景

研究人员使用CogAgent模型进行GUI感知和推理预测的实验。

开发者利用CogAgent实现桌面应用的自动化操作。

企业使用CogAgent模型优化客户服务流程，通过自动化GUI操作提高效率。

产品特色

支持双语（中文和英文）交云，通过屏幕截图和自然语言进行交互。

在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面具有显著优势。

CogAgent-9B-20241220模型基于GLM-4V-9B，一个双语开源VLM基础模型。

支持多阶段训练和策略改进，实现GUI感知和推理预测的准确性。

模型输出遵循严格格式，以字符串格式返回，不支持JSON输出。

不支持连续对话，但支持连续执行历史。

需要图像作为输入，纯文本对话无法实现GUI代理任务。

使用教程

1. 确保已安装Python 3.10.16或以上版本，并安装requirements.txt中的依赖。

2. 根据需要的输出格式和平台，使用适当的命令行参数运行模型。

3. 提供模型所需的输入图像，并接收包含操作指令的输出。

4. 如果模型返回包含边界框的结果，将输出指示操作执行区域的图像。

5. 使用输出图像路径参数指定输出图像的保存位置。

6. 根据需要调整模型参数，如最大长度、返回结果数等。

7. 对于在线Web演示，可以运行web_demo.py并指定相关参数以实现交互式推理。

8. 参考项目文档和模型技术博客，深入了解模型的使用和优化。