0
0今天的这篇的主题是： From Passive Delegates to Strategic Negotiators: Reinforcing Social Reasoning in Small Language Models with SocialRL
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
AI 智能体正越来越多地代表用户行事，处理安排会议、比较报价和讨价还价等任务。这些由委托人驱动的任务通常会让智能体面对一个目标可能与其委托人相冲突的对手方（例如另一位用户的智能体、卖家或招聘人员）。然而，使智能体成为友好助手的行为倾向，也可能使其成为糟糕的代理人：一个友善、乐于助人的前沿模型，可能会在未经要求的情况下主动披露委托人的私人信息，并在遇到对方的第一次抵抗时就作出让步。
我们提出了 SocialRL，一种直接训练社会推理能力的通用方法，并将其应用于一个 4B 参数模型，涵盖六个领域：Deal-or-No-Deal、CaSiNo、Craigslist、Job Interview、Calendar 和 Marketplace。所有领域均采用相同的方法进行域内训练，并在全部六个领域上评估每个策略。
我们发现：
（1）域内训练能够达到前沿模型水平：在留出的测试场景中，4B 模型在各个领域均能达到或超越 GPT-5 系列模型的表现。在谈判博弈中，它弥合了基线模型与前沿模型之间 73%–122% 的性能差距；78% 的买方开场报价低于目标价格，而未经训练的模型这一比例仅为 3%。
（2）跨领域迁移遵循博弈结构：结构相似的博弈能够相互促进；一个涵盖广泛议题的源领域能够提升几乎所有领域的表现；而结构上孤立的博弈则无法产生任何迁移效果。
（3）基于这种迁移结构，我们采用两种策略——级联强化学习（Cascade RL）和多教师同策略蒸馏（Multi-Teacher On-Policy Distillation，OPD）——将各领域的专家模型整合为一个统一的 4B 模型。该模型在全部六个环境中的平均效用达到 0.627，达到或超过 GPT-4.1（0.625）、GPT-5.1（0.619）和 GPT-5.2（0.613）的表现。
（4）显式的心智理论（Theory of Mind，ToM）推理框架只有通过训练才能发挥作用：相比于仅蒸馏动作，同时蒸馏 ToM 推理轨迹能够提升模型在所有环境中的效用，并实现更好的跨环境泛化。此外，在两种 ToM 技能中，只有下一步动作预测能力能够预测谈判结果。
原文链接：arxiv.org
