给多模态大模型装上一双会“挑错”的眼睛

给多模态大模型装上一双会“挑错”的眼睛

10分钟 ·
播放数14
·
评论数0

多模态大模型正从看图说话迈向复杂视觉推理,但视觉结果验证成了新瓶颈。研究人员构建了ViVerBench基准,涵盖六大类十六个子任务,发现现有模型在精细对齐、世界知识匹配和推理批评上短板明显。为此,团队训练出通用验证器OmniVerifier-7B,通过自动化数据生成与强化学习,在基准上提升8.3个百分点,甚至超越GPT-4o,还能以序列式测试时缩放不断迭代优化生成,让模型更可靠、更可控。

原文:arxiv.org