APT：通过“先学运动、后学语言”抑制 VLA 语言退化-浙江大学、浙江人形机器人创新中心

概要：现有方法通常将预训练好的视觉语言模型和随机初始化的动作模块直接联合训练；然而，机器人数据中的语言信息远少于视觉和动作信息，模型训练过程中容易形成视觉捷径；同时，随机初始化的动作专家还会产生噪声梯度，反过来破坏原本已经具备较强语言能力的视觉语言模型；模型虽然学会了动作，却可能逐渐丧失语言理解能力；针对这一问题，研究团队从贝叶斯视角重新解释了 VLA 的策略学习过程；

声明：上述声音采用AI合成，解析内容为原创；解析仅针对该文发布时，arXiv上已公开被解析论文的最新版本的内容进行；其中所有涉及原论文的图、数据都引用自原论文，如涉及侵权，请及时联系删除；人工解读，难免有错误遗漏，如有发现及时联系修改；如需要深入研究建议阅读原文；

链接：arxiv.org ；