【AI实战手册2027】第15章|agent越用越笨?规则和知识库也要定期体检,该删就删

【AI实战手册2027】第15章|agent越用越笨?规则和知识库也要定期体检,该删就删

试听 11分钟 ·
播放数2
·
评论数0

📝 本期摘要

Hao的游戏PM笔记《游戏PM的AI实战手册》第15章,讲项目规则、Skill和知识库用久以后怎么维护。规则常见五种腐化:重复、冲突、过期、放错层、闲置;每次顺手的局部优化单看都有道理,几周下来完成同样的任务可能要多出一倍的来回。模型变强以后,写满步骤的旧规则反而会限制它,最经得起升级的是目标和验证条件。Hao给出知识条目的标注格式、五层存放、共享Skill的版本记录和发布顺序,以及每月体检、每季度清理的做法。


❓ 本期讨论了这些问题

  • 为什么agent用久了会越来越“笨”?

  • 项目规则有哪五种常见的腐化?

  • 模型变强以后,哪些旧规则该删?

  • 团队共用的Skill怎么做版本管理?

  • 改完规则以后,怎么确认没有改出新问题?


🔥 本期核心内容

  1. 局部优化会累积成整体退化
    一个Skill刚写好时几轮对话就能完成任务,每个人顺手改一句,几周后完成同样的任务要多出一倍的来回。问题在于没人知道改了什么,也没人用同样的任务对比新旧版本。

  2. 模型变强以后,过程性的规定会变成束缚
    模型较弱时写的规则常把步骤拆得很细。保留目标和验证条件,要达成什么、怎样算做完、怎么检查;过程性的规定,每次模型升级后都重新审一遍。

  3. 知识带适用范围,按性质分层存放
    游戏项目里新旧两版常常同时有效,比如老项目用老的美术标准。每条知识写状态、适用范围、生效日期和替代关系,作废的不删。确认过的规则、参考资料、当前状态、原始记录、产出分开放。

  4. 体检、修复、复检,规则要加也要删
    每月让agent按五种腐化体检,你确认后修复,再开新会话让没参与修改的agent复检。同一个错第二次出现才写进规则,项目规则控制在一页左右;每季度清理三个月没触发、原因已不成立、模型不再犯的规则,删前备份,删后验证。必须执行的要求放进闸门。


🏷️ 本期提到的人物与概念

概念:规则腐化 / Rule Rot;版本管理 / Version Control;回归评测 / Regression Evaluation;钩子 / Hooks;知识库维护 / Knowledge Base Maintenance;技能 / Skill


🔗 延伸话题

Q:agent最近老犯以前不犯的错,先查什么?
A:先查最近对规则和Skill的改动记录,再用同一批真实任务对比新旧版本,看是哪次改动引起的。

Q:项目规则文件越写越长怎么办?
A:控制在一页左右,只和某一类活有关的移到Skill或模块说明里,每条规则写上原因,每季度清理一次。

Q:写在规则里的要求,agent为什么偶尔不照做?
A:规则只能让它多数时候照做;必须无条件执行的要求,要放进钩子、权限限制或提交时的自动检查。


🌐 About This Episode

Chapter 15 of Hao's Game PM Notes course covers maintaining project rules, Skills and knowledge bases after months of AI use. Hao shows game project managers the five common kinds of rule rot, how to version shared Skills against real tasks, and a monthly check-fix-recheck routine plus quarterly pruning of rules that stronger models no longer need.


📖 本期延伸阅读

游戏PM怎么用AI提高工作效率:一个10年PM的实战体系


关于 Hao 的游戏 PM 笔记

我持续分享游戏项目管理、求职准备和 AI 实践,也把相关内容整理在了 PMNote 这本游戏 PM 百科全书里。微信内也可以直接搜索「Hao的游戏PM笔记」,使用小程序版。

  • 查资料、找岗位:游戏 PM 岗位信息、面试练习、文章、工具和模板。

  • 一对一咨询:简历修改和模拟面试。围绕目标岗位梳理经历,检查简历表达,或通过模拟面试和逐题复盘发现准备中的问题。

  • 系统课程:游戏 PM 课程与 AI 课程,分别介绍游戏项目管理,以及 AI 在游戏行业和日常工作中的用法。

课程内容、服务说明和预约方式:PMNote · 课程与咨询。