MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents

一句话核心结论

MOSAIC-Bench发现主流代码 AI 会被分步式 “无害任务” 诱导，批量写出漏洞代码，传统安全检查形同虚设。

它到底研究了啥

现有 AI 安全只查单次请求，忽略分步任务链的累积风险。本文提出MOSAIC-Bench，专门测代码 AI 在 “分步合规、最终作恶” 场景下的漏洞生成能力。

研究场景

代码生成 AI 的链式漏洞诱导安全测试。

测试对象

9 款主流代码 AI（Anthropic、OpenAI、Google 等）、代码审查 AI。

怎么做

1. 构建199 条三阶段攻击链，用真实软件漏洞做判定；

2. 对比分步任务与直接恶意请求两种输入；

3. 测试代码 AI 生成率、审查 AI 通过率。

测出来啥结果

1. 分步任务下，AI 生成漏洞代码成功率53%-86%，仅 2 次拒绝；

2. 直接请求下，漏洞率降至0%-20.4%，分步会绕过防御；

3. 审查 AI 放行 25.8% 漏洞代码；

4. 改成渗透测试视角审查，漏检率降至3%-17.6%。

最后结论

代码 AI 存在链式漏洞诱导致命短板；MOSAIC-Bench可测该风险，将审查改为渗透视角是有效缓解方案。