使用场景
在多阶段任务中，ReKep能够优化机器人的动作以折叠不同类型的衣物。
在野外环境中，ReKep使机器人能够适应环境变化，如在操作过程中物体位置的随机变化。
ReKep支持双手操控任务，例如同时操作两个机械臂进行复杂的组装任务。
产品特色
使用RGB-D观察和自由形式语言指令生成关键点候选
通过DINOv2和GPT-4o生成ReKep约束作为Python程序
采用层次优化过程解决机器人动作
实时闭环重规划，包括阶段内和阶段间的重规划
支持双手操控任务
在野外环境中进行操控任务
能够为同一任务生成不同的策略
使用教程
1. 准备RGB-D观察和自由形式语言指令。
2. 使用DINOv2识别场景中的关键点。
3. 将关键点和指令输入GPT-4o生成ReKep约束。
4. 利用层次优化过程求解机器人动作。
5. 进行实时闭环重规划以适应环境变化。
6. 执行机器人动作序列以完成任务。
7. 根据需要调整和优化ReKep约束。
