2
0欢迎收听本期节目，我们将深入探讨当今软件领域正在发生的前所未有的根本性变革。借用 Andrej Karpathy 的洞见，软件正在经历一场史无前例的演进，其速度在过去几年中两次加速，而此前七十年间都未曾有过如此巨变。
本期节目将为您揭示以下核心内容：
•软件范式的演变：了解 Andrej Karpathy 提出的软件发展三个阶段——Software 1.0 是人类编写的计算机代码，Software 2.0 是通过优化器训练的神经网络权重，而我们当前正迈入的Software 3.0 则是通过自然语言提示来编程大型语言模型（LLM）。这种新的编程范式甚至让每个人都有机会成为程序员，催生了“vibe coding”等新现象。
•LLM：新兴的“操作系统”： Andrej Karpathy 将 LLM 类比为一种新型的“操作系统”。它们像云计算时代的“公用事业”一样提供智能服务，以按量付费的方式进行访问，并强调低延迟、高正常运行时间和一致的质量。同时，它们也展现出类似“晶圆厂”的特性，需要巨大的资本投入进行训练。这些 LLM 被视为一种“新计算机”，类似于 1960 年代的计算机时代，当时计算资源昂贵且集中在云端，通过分时共享提供服务。
•LLM 的“心理学”与局限性： 深入理解 LLM 的独特“心理”——它们拥有超越任何人类个体的百科全书式知识和记忆，但同时存在认知缺陷，如幻觉（hallucination）、自我认知不足、智能不均衡（在某些领域超人，在另一些领域犯低级错误）以及顺行性遗忘症（无法像人一样长期巩固和发展知识）。此外，它们易受提示注入攻击、存在数据泄露等安全风险，并且容易被“愚弄”。
•LLM 应用的开发机遇： 探讨如何有效利用 LLM 的超能力并规避其缺陷。我们将重点关注**“半自动化应用”（Partial Autonomy Apps），这类应用允许人类在传统界面上进行手动操作，并通过 LLM 集成实现更大规模的任务处理。其中关键特性包括 LLM 进行上下文管理**、编排多轮 LLM 调用，以及应用特定的图形用户界面（GUI），GUI 对用户审核 LLM 的工作至关重要，能让“生成-验证”循环更快进行。
•“自主性滑块”与人机协作： 许多 LLM 应用都设有**“自主性滑块”（Autonomy Slider），允许用户根据任务复杂性调整模型自主程度，从简单的建议到完全自主的代理。在当前 LLM 仍有缺陷的阶段，我们更应侧重构建增强人类能力的“钢铁侠战衣”式产品**，而非完全自主的机器人。
•“上下文工程”的核心地位： Andrej Karpathy 强调，“上下文工程”对于构建真正有效的 AI Agent 至关重要。它超越了传统的“提示工程”，成为一门集科学与艺术于一体的学科。其核心在于在正确的时间、以正确的格式，为大语言模型提供恰到好处的信息和工具。
•“上下文工程”的四大策略： 节目将详细介绍 LangChain 总结的“上下文工程”四大落地策略，帮助您在实际应用中更好地使用这一概念：
◦写入上下文（Write Context）： 将信息保存到上下文窗口之外，例如通过“草稿板”（Scratchpads）或“记忆”（Memories）来持久化信息。
◦筛选上下文（Select Context）： 将所需信息拉入上下文窗口，包括从草稿板、记忆、工具描述和知识库中进行筛选，如利用 RAG 技术。
◦压缩上下文（Compressing Context）： 仅保留执行任务所必需的 token，通过“上下文摘要”或“上下文修剪”等方式实现。
◦隔离上下文（Isolating Context）： 通过拆分上下文来辅助 Agent 完成任务，最常见的是使用“多 Agent”系统，也可以通过“环境隔离上下文”和 Agent 的“运行时状态”对象实现。
•为 Agent 构建数字基础设施： 展望未来，我们需要调整现有数字基础设施，使其对 LLM Agent 更友好，例如为 LLM 专门编写 Markdown 格式的文档，并将其中的“点击”操作替换为可被 Agent 直接执行的命令。
