使用场景

在Minecraft中，代理通过ROCKET-1成功地在特定位置放置了橡木门。

代理使用ROCKET-1在不触碰羊的情况下猎杀牛。

代理利用ROCKET-1在Minecraft中挖掘翡翠和煤矿。

产品特色

• 视觉-时间上下文提示：利用过去和当前观察的对象分割来指导策略-环境交互。

• 因果变换器：处理交互类型、观察和对象分割，以预测动作。

• 实时对象跟踪：由SAM-2提供，增强模型的交互能力。

• 与高级推理器集成：GPT-4o模型和Molmo模型协同工作，将复杂任务分解为步骤。

• 零样本泛化能力评估：Minecraft交互基准测试设计用于评估模型的泛化能力。

• 多样化任务解决：在Minecraft中完成多种复杂和创造性的任务。

• 交互类型多样性：支持Minecraft中的六种交互类型，共计12个任务。

使用教程

1. 访问ROCKET-1的GitHub页面以获取代码和文档。

2. 阅读并理解ROCKET-1的工作原理和视觉-时间上下文提示协议。

3. 根据文档指南设置开发环境，并安装必要的依赖。

4. 运行ROCKET-1模型，并在Minecraft环境中进行测试。

5. 使用Gradio平台与ROCKET-1进行交互，体验其决策制定能力。

6. 根据需要调整模型参数，优化模型性能。

7. 探索ROCKET-1在其他开放世界环境中的潜在应用。