5
0这期节目汇编第二届 Midwest AI Summit 的三段演讲：Heidi Porter 讲怎样搭出能真正投产的 AI 工作流，Kevin Solorio 讲给一线蓝领工人建 AI 该怎么把人拉进来，Chris Shinkle 与 Andrew Dunlap（SAP）讲 AI 只会放大团队现状、团队该用多少自主性。主持人 Daniel。
本期内容
这期是一档特别期：主持人 Daniel 同时也是第二届 Midwest AI Summit 的主持人，他把当天三段演讲剪进了同一期节目。三位（其实是四位）讲者来自完全不同的位置——一位做 AI 咨询、一位每天在写 agent、两位在给受监管行业交付软件，但他们都在回答同一个问题：AI 从 demo 走到每天有人用的生产系统，中间卡在哪。
开场的是 Heidi Porter。她先让台下举手：多少人的 AI 试点卡在 demo 与生产之间，然后给出自己的诊断——不是模型不行，是人让 LLM 承担了它不该承担的职责。她于是一路把工作流拆到单个任务：这一步该用规则、经典机器学习、决策模型还是 LLM？证据从哪来？她把三个已经上线的案例摆出来验证这套拆法：橡胶管产线用改造版 YOLO 找缺陷、Syngenta 的选种工具里 LLM 只当界面、Stanford Health Care 的外科共管理筛查里 LLM 只输出 yes/maybe/no。中间她专门停下讲护栏里最容易被跳过的一环：出问题时你怎么收回来。
第二段是 Kevin Solorio，他面对的是一群出了名慢于接受新技术的蓝领技术员，客户 CEO 把采用率列为第一目标。他的做法反常规：先用已知信息造一个故意有错的数据集直接交到这些人手里，让他们指着鼻子告诉你哪里不对——因为这些人身上没有邮件和操作痕迹可以追溯。他讲的 agent 设计也因此落在行为上：什么时候调哪个工具、怎么用护栏、在哪里停手。
压轴是 SAP 的 Chris Shinkle 与 Andrew Dunlap。他们从一个「暗工厂」的演示切入——人离开、灯关掉、agent 写码审码发码——然后用三个客户案例把话题拉回地面：一位工程师两天就反向工程出一个可用原型，推向生产却一周没交付；造建筑构件的团队主动停在共享信息池，因为楼不能塌；一家信用联盟的 App 迁移工作量减少了六倍。Chris 补上精益视角：原则处处成立，实践不是。
最后一段五条落地原则值得单独听：共享基础设施、刻意迭代、验证先于速度、系统性追瓶颈、消除重复劳动。把这段和前面 Heidi 的护栏、Kevin 的评测集放在一起听，会发现三拨人说的是同一件事的不同侧面。
核心观点
Heidi Porter 认为：AI 工作流做不下去，多半不是因为模型不行，而是因为它被逼着干了不只是语言模型的活——存数据、做决策、给自己判卷。她开场举手调查：相当大比例的 AI 试点卡在 demo 到生产之间。她的诊断是职责过载——人们让 LLM 充当系统记录、替人拍板、检查自己写的东西。解法是把工作流拆到每个任务逐个选执行机制（规则、经典机器学习、决策模型还是 LLM），而不是按项目一刀切。三个上线的真实案例都遵循这一点：橡胶管质检让改造版 YOLO 找缺陷（没有 LLM），LLM 只从记录系统里取证据起草解释；Syngenta 的选种工具里 LLM 只当界面和解释器，预测由既有农学模型出、授权由应用代码做；Stanford 外科共管理筛查里 LLM 的唯一输出是 yes/maybe/no。
【反直觉】Heidi Porter 认为：与其给 AI 加一堆提示词里的规矩，不如配三样真东西——能卡住系统的护栏、看最差情况的评测、以及能回滚的观测——必要时干脆不发布。大家原来以为多数人以为「在提示词里写清楚不许做 X」就等于有了安全措施，或者在出问题时用更多指令去纠正它。她明确说：写在 prompt 里的规则不会被确定性执行，真正的护栏必须是机器装置——一道门、一个检查、一个人、代码里的限制，而且要和使用它的机制一起扩展。她特别点了最常被遗漏的「恢复（recover）」：能撤就做成可撤的动作（回滚、撤回输出、撤销写入），不能撤的动作必须运行前审批；她还警告「让 LLM 审核人审」会出现橡皮图章式疲劳。她的原话式判断是：阀门（护栏）如果不工作，就不要晋升到生产环境，否则很快就会没有一个能用的系统。评测这一环，她强调不要只看平均分，得知道自己的最差情况有多糟，才修得动。
Kevin Solorio 认为：AI agent 进入一线现场，靠的只能是把使用者拉进房间一起犯第一版错误，没有评测集的 agent 只是个概念验证。他在给一群蓝领技术员做工具，CEO 把采用率列为第一目标，因为这些人出了名地慢于接受新技术。他的启动方式反常规：先用已知信息合成一个故意有错的数据集，直接交到用户手里——因为蓝领身上没有邮件和操作痕迹可追溯，只能靠人当面纠正；而「给人看一个错的东西，他们会很快指出哪里不对」。他强调「给我问题，别给我方案」，并把反馈门槛降到 Google 表格或一个游戏化的小工具。评测上他有硬话：没有 evals 的 agent 无论部署在什么基础设施上，都只是一个概念验证。方法是数据飞轮——离线数据集用于开发衡量，上线后靠确定性代码评估器或 LLM 裁判持续抽查，被标记的案例进入标注队列，复盘后加回数据集，循环永不停止。他的收尾是 IKEA 效应：亲手参与建造的用户会成为产品冠军。
【反直觉】SAP 的 Chris Shinkle 和 Andrew Dunlap 认为：AI 不会修好你的团队，只会放大它本来的样子；目标也不是把人从工厂里赶出去的「黑暗工厂」，而是找到一个适合你约束的模式。大家原来以为圈内人以为 AI 编码的终点、也是每个团队该追的终点，是「黑暗工厂」——人离开、关灯、agent 自己写代码审代码发代码。他们说三项近期研究指向同一个结论：AI 不会修复你的团队，它放大已经存在的东西。他们的客户多在医疗、制药、航空航天这类出错代价高的行业，所以从不认为每个团队都需要黑暗工厂，也不认为非得走到那个极端才有显著收益；金句是「更多 AI 修不好 AI 适配度」。Andrew 用三个客户案例说明：一位工程师两天就用 agent 反向工程出原型，可推向生产后一周没交付——因为 token 预算、领域知识是否写下来、能否规模化验证、监管是否需要人看代码这些约束开始生效。约束像旋钮，决定了团队该用四种模式中的哪一种（个体 agent 编码 → 共享信息池 → 多 agent 工作流 → 黑暗工厂）。造建筑构件的团队主动停在共享模式，因为「楼不能塌」；信用联盟的 App 迁移 token 不限、需求明确，则交给 agent 工作流，工作量减少六倍。Chris 用丰田 Andon 拉绳补上精益视角：原则处处成立，实践不是——丰田并没有在每条产线都装拉绳。
嘉宾
Daniel Whitenack（主持人）：本期节目主持人，同时担任第二届 Midwest AI Summit 的主持人（emcee），负责串联 Heidi Porter、Kevin Solorio 与 Chris Shinkle、Andrew Dunlap 三段演讲。材料中未提供更多个人履历信息。
Heidi Porter（嘉宾）：Moyer Group AI 的技术专家，有数十年从业经验，横跨网络、数据分析、机器学习与 AI，以及大型企业的本地与云部署。所在公司做的是 AI 工具的教育、战略与咨询。本期她讲物质世界里的 AI 工作流：怎么给每个任务选对执行机制，用数据质量与运行时 grounding 设定可靠性上限，再用护栏、评测、可观测性三层保障托住。
Kevin Solorio（嘉宾）：Focus 公司的 staff software engineer，自学出身的工程师兼 AI 顾问，团队每天构建 agent，并帮企业把它们推上生产、做出评测，主要使用 LangChain 技术栈。本期他讲的是给一线蓝领工人建 AI 应用：为什么 building with 而不是 building for，以及没有评测集的 agent 为什么只是个概念验证。
Chris Shinkle（嘉宾）：SAP 创新总监，多年从事 Lean／精益软件开发辅导；公司为医疗、制药、航空航天等受监管行业交付软件。本期与 Andrew Dunlap 同台，提出「AI 不会修复你的团队，只会放大它本来的样子」，用六大约束和四种团队运作模式判断团队该用多少 AI 自主性。
Andrew Dunlap（嘉宾）：SAP 资深 AI 工程师，与 Chris Shinkle 共同讲第三段。本期他负责把方法论落到案例上：用三个客户项目说明同一套约束如何把团队推向不同的运作模式，并给出五条可落地的原则。
技术背景
为什么 LLM 不适合独自撑起一条工作流
大语言模型擅长理解和生成语言，但它在多项职责上并不可靠：让它同时持有系统数据、替人做业务判断、再检查自己写出来的东西，等于把存储、决策、审计三种角色压给一个不会确定性执行的程序。工业与医疗场景的真实难点往往不在语言，而在证据从哪来、谁有权拍板。Heidi 的诊断是，工作流做不下去多半因为这一步被压错了人，解法是把流程拆到单个任务，逐个选择执行机制。这也解释了为什么她三个案例里 LLM 都不是主力：找缺陷的是视觉模型，出预测的是既有农学模型，输出判断的被压缩成三个字。
从规则、经典机器学习到 LLM：按任务挑机制
一条生产级 AI 工作流的每一步，理论上可以交给不同东西执行：固定规则、经典机器学习模型、决策模型，或者 LLM。选择的标准是这一步需要什么——需要精确重复就交给代码与规则，需要从传感器图像里找异常就交给视觉模型，需要解释和对话才轮到 LLM。Heidi 强调这个选择要按任务做，而不是按项目一刀切，因为同一条产线上不同步骤的需求差异很大。她给出的通用原则是：让模型和知识库成为系统里最容易替换的部件，这样换掉一个模型不会牵动整条链。
运行时 grounding 与数据质量上限
Grounding 指在运行时把 LLM 锚定在真实数据上：通过查询数据库、检索知识库或知识图谱拿证据，再让答案基于这些证据生成，并保留引用来源。它和「把整库内容塞进上下文」是两种不同的做法，前者可以控制模型看到什么、也方便事后审计。Heidi 反复强调数据先修，因为数据质量决定了系统的可靠性天花板，再好的模型也补不回来。三个案例都是这个模式的变形：LLM 只拿到来自系统记录的证据，然后被要求据此写解释或给判断。
评测（evals）：为什么看最差情况比看平均分重要
评测是可重复的测试，用来确定性地判断 agent 或工作流这次给出的答案对不对。它有两层用途：上线前回答「这个方案能不能用」，上线后回答「会不会悄悄变差」。Heidi 和 Kevin 都指出评测是普遍欠账的一环，而 Heidi 特别提醒不要只看平均分——一个平均分很高的系统可能在某类输入上错得离谱，只有知道自己的最差情况有多糟，才知道该修哪里。Kevin 的版本是把评测做成循环：离线数据集用于开发期衡量，上线后靠在线评估器持续抽查真实调用记录。
蓝领场景与 AI 采纳率
一线体力与技术工种的工作有大量默认知识没有被写下来：上千种细微差别藏在手上和习惯里，而不是会议纪要或系统日志里。这带来两个后果。第一，团队没法靠回看历史记录来理解用户的真实需求，只能把人请进来当面纠正。第二，这些人对新技术普遍谨慎，客户 CEO 会把采用率而不是准确率列成第一目标。Kevin 讲的正是这种场景下的 agent 开发方法：先让人看到错误，降低提出反馈的门槛，再靠持续改进换取信任。
agent 自主性的光谱：从个人编码到暗工厂
「暗工厂」原本是制造业的概念，指自动化程度高到不需要人在场、可以关灯运行的设施；在软件语境里，它被借来形容 agent 全流程写码、审码、测试、发布、团队里不留人的愿景。Chris Shinkle 与 Andrew Dunlap 把它当一个思想实验来用，而不是终点：他们的客户多在错误代价高的行业，不同团队面对 token 预算、领域知识是否写下来、能否规模化自动验证、监管是否要求人看代码这类约束时，能承受的自主性差别很大。于是自主性被当成一个可调的光谱，约束决定落在哪一档。
时间戳
00:00 磊哥导读：AI不修团队，只放大它
10:29 给每个任务挑对执行机制：Heidi Porter 开场：为什么很多 AI 试点卡在 demo 与生产之间，以及把工作流拆到单个任务、按任务选规则／经典 ML／决策模型／LLM 的框架，加上数据质量与运行时 grounding。
21:55 护栏里最容易被跳过的那一步：护栏必须是机器装置而不是提示词里的规矩；重点讲常被遗漏的 recover（回滚、撤回输出、撤销写入），随后展开橡胶管产线质检与 Syngenta 选种两个已上线案例。
25:46 LLM 只输出 yes/maybe/no：Stanford Health Care 外科共管理筛查工具：机构自有 rubric 固定在 prompt 里，LLM 唯一的活是给三选一判断，医生保留确认与推翻权；随后回顾四问框架，Kevin Solorio 登场讲 building with workers。
35:39 故意造一个错的数据集：Kevin 讲 agent 设计核心是行为而不是界面，启动时先用已知信息合成一个故意有错的数据集交给一线用户；以及离线数据集加在线评估器的数据飞轮怎么运转。
39:10 AI 只会放大你现在的样子：Kevin 以工匠信任收尾，SAP 的 Chris Shinkle 与 Andrew Dunlap 从暗工厂演示切入，给出三项研究的共同结论与 AI slop 这三类错误信号。
44:14 六大约束与四种模式：Andrew 用三个客户案例说明 token 预算、组织准备度、目标定义、领域知识、可验证性、代码监督这六项约束如何把团队定位到个人编码、共享信息池、多 agent 工作流或暗工厂其中的一档。
51:22 原则处处成立，实践不是：Chris 用丰田 Andon 拉绳说明原则与实践中隔着约束，Andrew 给出共享基础设施、刻意迭代、验证先于速度、系统性追瓶颈、消除重复劳动五条落地原则。
术语表
mechanism（执行机制）：实际干某一步活的东西：规则、经典机器学习、决策模型或 LLM。Heidi 主张按任务逐个挑，而不是按项目一刀切。
grounding（事实锚定）：运行时查询数据库或知识图谱，让答案由证据驱动并留住来源，避免模型凭空编造。案例里 LLM 只拿到来自系统记录的证据。
guardrails（护栏）：对输出的运行时控制。关键是它必须是真正的机器装置——一道门、一个检查、一个人、代码里的限制，写在提示词里的规矩不会被确定性执行。
recover（恢复）：护栏里最常被漏掉的一环：东西漏过去之后怎么把系统收回安全状态，例如回滚、撤回输出、撤销写入；撤不掉的动作就得在运行前审批。
observability（可观测性）：系统跑起来之后看得见什么：能不能恢复、能不能重放、能不能在事故前抓住漂移。橡胶管案例为此持续监控了 52 周。
evals（评测）：可重复的测试，判断输出对不对。Heidi 强调要看最差情况而非平均分；Kevin 的原话是没有评测集的 agent 只是概念验证。
rubber stamping fatigue（橡皮图章式疲劳）：让 LLM 审人审、或人面对成千上万条待审内容时机械盖章、失去实质审查。Heidi 警告这不是一种好护栏。
YOLO（YOLO 目标检测模型）：一类实时目标检测视觉模型。橡胶管案例用改造版 YOLO 在高速产线上找缺陷，这一步完全没有 LLM 参与。
LLM judge（LLM 裁判）：用一个 LLM 评判另一个 LLM 或 agent 的输出，作为人工评审之外的补充。Syngenta 案例在 100 个真实销售问答对上加人工评审和 LLM 裁判。
rubric（评分细则）：一套明确的评判标准。Stanford 用的是机构自己拥有、写进 prompt 并固定下来的 rubric，LLM 只负责套用它输出 yes/maybe/no。
surgical co-management（外科共管理）：临床医生在术前术后共享患者照护职责。Stanford 的工具用来筛查次日择期手术里哪些患者需要这种共管。
building with / building for（共同构建／替人构建）：Kevin 的核心区分。building for 让一��经过代理、固化 SOP，发出「我比你更懂」的信号；building with 从目标出发、让用户在场，靠当面纠正建立信任。
data flywheel（数据飞轮）：离线数据集用来衡量开发期表现，上线后在线评估器持续抽取调用记录打分，被标记的案例进标注队列、复盘后加回数据集，形成随用例演化的流动数据集。
annotation queue（标注队列）：在线评估器标出的问题案例排进去等待处理的队列，在里面复盘这个案例到底出了什么问题，再把它加回离线数据集。
IKEA effect（宜家效应）：人会对自己参与构建的东西赋予很高的价值。Kevin 用它解释为什么亲手参与共建的一线工人会变成产品冠军。
AI slop（低质 AI 产出）：大量生成却没人把得住质量的 AI 产出。团队里有人问「我们在产出 AI slop 没人知道什么是对的」，就是模式选错的典型信号。
AI fit（AI 适配度）：团队工作方式与自身约束的匹配程度。Chris 与 Andrew 的金句是 More AI won't fix the AI fit——加更多 AI 修不好适配问题。
token budget（token 预算）：组织愿意为 AI 推理付费的上限，Andrew 举的刻度是每天 10 美元、100 美元、1000 美元还是 10000 美元。它是六大约束之首，直接限定了团队能走到的自主性水平。
shared mode（共享模式）：四种模式中第二档：把领域要素、架构、工作流、实现规则、代码和计划放进人人可访问的共享信息池，开发者日常仍各自工作，但 agents 拿到多一点自主性。
dark factory（暗工厂）：人离开、灯关掉，agent 自己写码审码测码发码的愿景。Chris 与 Andrew 把它当开场思想实验，结论是不是每个团队都需要走到这里，也不认为非得走到极端才有显著收益。
延伸阅读
本期节目在 Transistor 的转录页面
原节目：听见硅谷（Midwest AI Summit 演讲精选特别期） /transcript。
本节目为英文原节目的中文译制，每位说话人都用自己的声音说中文，观点以原节目为准。
原节目：Abundant Intelligence at the Midwest AI Summit
原节目发布时间：2026-10-29
