145
4赵晨阳参与开源推理系统 SGLang 的开发，也是 RadixArk 的创始成员。从本科阶段的科研训练，到赴美读博，再到把更多精力投入工业界，他越来越希望看见自己的工作被真实地使用。一个模型训练完成之后，怎样才能高效、稳定地服务用户？一个开源项目，又怎样成为别人可以依赖的基础设施？
赵晨阳反复强调评估的重要性：生成一个实现越来越容易，证明它正确、可靠，并承担后续维护的责任，仍然代价高昂。如果实验所依赖的框架本身出了问题，建立在它之上的结论还成立吗？
同样的问题，也出现在论文与审稿中。当成果的形式越来越容易生产，认真做事的人如何得到可信的反馈？赵晨阳用「礼崩乐坏」描述他的担忧。而聊到自己的工作与生活，他又说起「悲欣交集」：AI 带来了便利，也改变了工作的节奏；那些花了很长时间形成的手艺，已经成为自我认知的一部分。技术继续向前，我们如何安放这些经验，以及创造性劳动曾经带来的快乐？
时间轴
00:02:13 从读博到工业界：希望研究被真实地使用
00:05:28 兴趣、信心和工程方法，是怎样长出来的？
00:14:22 回头看第一段科研：成果可能过时，训练留下了什么？
00:22:17 「礼崩乐坏」：论文与审稿，还能提供可信的反馈吗？
00:26:49 当公开成果难以判断，信任退回熟人之间，新人怎么办？
00:28:19 赴美读博，因为科研需求接触 SGLang
00:29:54 模型训练好了，为什么还需要推理引擎？
00:33:01 从前缀树到开源开发：发现一个缺少的功能，然后把它做出来
00:44:35 长期投入一件事，会怎样改变日常生活？
00:48:21 开源项目走向职业化：协作、选择，以及真实的犹豫
00:57:19 谁承担责任，谁拥有权力：信任怎样变成协作的基础
01:03:15 如果强化学习框架本身有问题，实验结论还成立吗？
01:09:49 RSI 离我们多远：AI 能写代码之后，为什么验证仍然昂贵？
01:21:48 希望 AI 替代工作，也希望保住谋生的能力
01:24:02 「悲欣交集」：一场技术变革，以及舍不得放下的手艺
01:26:00 解决问题更快了，为什么需要解决的问题也更多了？
01:27:45 结果之外，做一件事本身的快乐
本期提到的人与概念
SGLang：面向大语言模型和多模态模型的开源推理与服务框架。节目讨论了它如何从一项研究工作，逐渐成为需要回应真实需求、维护可靠性的基础设施，也谈到赵晨阳参与开发的经历。
推理引擎：模型训练完成之后，负责组织和执行模型计算、管理显存、调度请求的一层系统。模型能够回答问题，与它能否低成本、低延迟地同时服务许多用户之间，还有大量工程工作。
KV Cache：模型生成文本时，缓存已经计算过的注意力键和值，减少后续生成中的重复计算。它能加快推理，也会占用大量显存；如何管理和复用这些缓存，是推理系统的重要问题。参见 SGLang 的原始技术介绍。
前缀树与 RadixAttention：前缀树把具有共同开头的序列组织在一起；SGLang 的 RadixAttention 利用基数树组织 KV Cache，使共享文本前缀的不同请求能够复用计算。节目由此谈到，一个数据结构怎样成为推理系统中的关键设计。参见 RadixAttention 介绍。
PagedAttention 与 vLLM：PagedAttention 借鉴操作系统的分页思想管理 KV Cache，减少显存碎片与浪费；vLLM 是基于这一设计发展起来的开源模型服务系统。它为理解节目中不同推理系统所处理的问题提供了背景。
AI Infra：支撑模型训练、推理和应用运行的基础设施，包括计算、调度、通信、存储及相应的软件系统。节目里的问题是：当越来越多的人依赖这些系统，开发者怎样证明它可靠，又由谁承担维护责任？
强化学习框架与实验可靠性：强化学习实验依赖底层框架正确地组织训练、采样和数据流转。赵晨阳提出的追问是：如果实现存在错误，我们观察到的实验结果，究竟反映了方法的效果，还是系统的问题？
RSI（Recursive Self-Improvement，递归自我改进）：AI 参与改进自身能力，并让改进后的能力继续推动下一轮改进。节目区分了“模型已经大量参与开发”与“完全脱离人类的自主改进”，并讨论评估能力和验证成本如何限制这一过程。
评估与验证：评估关心用什么标准判断表现，验证关心一个具体实现或结论是否站得住。节目反复涉及两者：代码可以更快地生成，但测试、复现实验、理解边界和承担责任，仍然需要投入。
「悲欣交集」：赵晨阳借弘一法师的这四个字描述自己面对 AI 的感受。它既包含技术带来的便利与可能，也包含对旧日手艺、沉浸体验和创造性劳动的留恋。
延伸阅读与项目
SGLang 项目仓库：可以从文档、代码和开发讨论中，进一步了解推理系统如何回应真实的使用需求。
Fast and Expressive LLM Inference with RadixAttention and SGLang：SGLang 团队最初的技术介绍，解释了 KV Cache 复用、RadixAttention，以及前端语言与后端运行系统的协同设计，适合接着节目中的前缀树讨论往下读。
SGLang: Efficient Execution of Structured Language Model Programs：SGLang 的原始论文，更完整地呈现了问题设定、系统设计与实验依据。
SGLang-Omni：SGLang 生态中面向语音与多模态模型的推理服务项目，协调编码、生成、音频解码等不同阶段的计算。作为本期讨论的延伸，可以进一步了解：当模型从生成文字走向语音和实时交互，推理基础设施需要处理哪些新问题。
RadixArk：赵晨阳所在的团队，围绕模型推理与训练基础设施开展工作。节目讨论了从开源协作走向职业化之后的责任与组织问题。
刘胜与《我不得不把才华埋葬在昨天》：刘胜与以自己的算子开发经历，写下 AI 改变工作方式之后，对手写代码和亲自优化的那段时光的告别。这也引出了我们关于手艺、沉浸体验与自我认知的讨论。
陈嘉映《何为良好生活》：副标题为“行之于途而应于心”。节目最后借它讨论：一项活动的价值，如何体现在结果之外，也体现在参与和实践的过程之中。
制作
制作人／主播：君泽
声音设计／剪辑：君泽、ChatGPT
知乎：闻烜、CC、冬菇
