4
0📘 论文标题
Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models
1. 🧠 推理的重要性
- 推理是智能行为的核心基础，无论在哲学还是人工智能领域。
- 它支持智能体在复杂、不确定和多模态环境中的逻辑推断、知识泛化和适应行为。
- 对于构建鲁棒与自适应的 AI 系统，具备多环境下的推理能力至关重要。
2. 🤖 大型多模态推理模型（LMRMs）
- LMRMs 集成文本、图像、音频、视频等模态。
- 表现出如逻辑演绎、因果推理、类比映射与长程思考等能力。
- 目标：实现全面感知、精确理解与深入推理，支持智能决策。
3. 🛤️ 多模态推理的发展路线图
阶段一：感知驱动的模块化推理（Perception-Driven Modular Reasoning）
- 初期依赖任务特定的模块化设计，推理常隐含于感知与神经计算中。
- Transformer 架构与预训练视觉-语言模型（VLMs）促进了模态对齐与融合。
阶段二：语言中心短推理（Language-Centric Short Reasoning，System-1）
- 多模态大型语言模型（MLLMs）推动端到端语言中心推理框架。
- 存在表层匹配与缺乏多步推理的问题。
- 思维链（Chain-of-Thought, CoT）与多模态思维链（MCoT）缓解此问题。
阶段三：语言中心长推理（Language-Centric Long Reasoning，System-2）
- 强调慢速、结构化的认知流程。
- 代表性方法：
Multimodal-O1：引入多阶段生成与规划
Multimodal-R1：结合强化学习优化推理路径
阶段四：原生多模态推理模型（Native LMRMs - Prospect）
- 构想未来新范式，原生支持跨模态理解、生成与智能体行为。
- 关键能力包括：
多模态智能体推理
全模态生成与规划 - 需解决挑战：异构模态融合、工具调用、持续学习与复杂数据合成等。
4. 🚧 当前挑战
- 多模态推理能力是 LMRMs 的关键瓶颈：
泛化能力不足
推理链不够深入
难以处理多步、组合性推理任务 - 真实世界适应性与交互性仍受限
- 评估机制需更全面，涵盖多模态与复杂环境互动能力
5. 📊 数据集与基准评估
- 任务被划分为：理解、生成、推理、规划 四大类
- 推理类基准进一步细分：
通用视觉推理（如 VQA）
领域特定推理（如医学、机器人） - 新基准如：
Agentic Benchmark
Omni-Modal Benchmark
→ 用于揭示当前模型在深层推理方面的缺陷
✅ 总结
这篇综述系统梳理了 LMRMs 的发展路径，从早期感知驱动阶段，过渡到语言中心的短程与长程推理，最终展望迈向原生多模态智能推理模型。论文不仅概述代表性方法与路线图，也指出当前模型在泛化、结构化推理、真实世界适应等方面的挑战，并为下一代 LMRMs 指明了技术方向。
