EmbodiedOneVision

本论文介绍了EO-1模型，这是一种用于实现通用机器人策略的视觉-语言-动作模型。该模型采用统一的解码器专用Transformer架构，旨在捕捉具身交互中视觉、文本和动作模态之间固有的时间动态和因果关系。为了训练EO-1，研究人员从大规模机器人数据集中筛选出多样化的视频，并对其进行分割和标注，以创建包括空间推理和自由对话在内的多模态数据。通过引入EO-Bench基准测试，该研究提供了对机器人具身推理能力的全面评估，涵盖了空间理解、物理常识、任务推理和状态估计等多个方面。实际世界实验表明，EO-1在各种机器人平台和任务中始终优于现有技术，尤其在长周期灵巧任务中表现出色，凸显了其在开放世界中部署的潜力。

Source: <arxiv.org>