大模型在真实应用中常需同时处理用户指令、参数化知识和动态环境信息，可这三者一旦“打架”，模型能否识别并安全化解？现有评测多聚焦静态文本矛盾，忽略了动态交互中的执行风险。为此，研究者推出了KC-Bench——一个动态交互式评测基准，将知识冲突细分为世界知识冲突、输入不一致和多源冲突，覆盖智能体数据库、零售与个人助理三大场景，并注入隐私泄露等隐患。
原文：arxiv.org
知识冲突大考：KC-Bench如何逼出大模型的安全底线？
13分钟 ·
10·
0
100
00:00
00:00
100大模型在真实应用中常需同时处理用户指令、参数化知识和动态环境信息，可这三者一旦“打架”，模型能否识别并安全化解？现有评测多聚焦静态文本矛盾，忽略了动态交互中的执行风险。为此，研究者推出了KC-Bench——一个动态交互式评测基准，将知识冲突细分为世界知识冲突、输入不一致和多源冲突，覆盖智能体数据库、零售与个人助理三大场景，并注入隐私泄露等隐患。
原文：arxiv.org