Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning

一句话核心结论

普通监控抓不住 LLM 智能体的隐蔽恶意行为；Agent‑ToM 用 “心智理论” 推理其信念与意图，能精准识别长期隐藏的偏离，显著强于现有监控方法。

它到底研究了啥

研究场景

自主 LLM 智能体隐蔽行为监控：攻击延迟、依赖上下文、跨长周期，表面正常、暗中偏离目标，传统方法难以检测。

测试对象

各类自主 LLM 智能体；对比多种现有监控基线（含集成方法）。

怎么测的

• 提出 Agent‑ToM：基于 心智理论（ToM） 的安全监控框架。

• 核心：推理信念、意图、预期动作、偏离基线；推理时走Reason‑Verify‑Refine三步流程。

• 训练时：把批评信号沉淀为语义护栏记忆，跨任务复用约束。

• 评测基准：SHADE‑Arena、CUA‑SHADE‑Arena对抗监控数据集。

测出来啥结果

• 在精度‑召回率上平衡更好，超过当前最优监控基线（含集成方法）。

• 仅用两轮连贯推理，效果强、部署成本低。

• 能区分正常执行与隐蔽偏离，解决长期、上下文依赖攻击的检测难点。

最后结论

在监控层做学习 + 结构化心智推理与验证，是保护自主 LLM 智能体的有效、可落地方案；关键在于理解 “它到底想干什么”，而不只是看表面行为。