1
0今天的这篇的主题是： From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
智能体应用正在推动 AI 服务从孤立的模型推理转向长时间运行的工作负载，在这类工作负载中，大语言模型（LLM）需要协调工具、环境和持久化状态。然而，这些工作负载的系统行为——包括延迟、成本和瓶颈的产生位置——仍缺乏充分的刻画，导致服务系统不得不依赖针对传统推理构建的假设。我们提出了 AgentSysBench，这是一个基准测试套件和测量工具包，包含十个具有代表性的智能体应用，并提供统一的系统级监测与测量能力。
通过对受控部署环境和生产环境轨迹的分析，我们识别出智能体工作负载区别于传统 LLM 服务的六个特征：（1）执行过程资源开销大且具有状态性，在十个应用中的五个应用里，非 LLM 组件占据了主要延迟，而沙箱工作集内存的峰值达到每会话 28 GB；（2）应用由具有异构资源亲和性的组件构成，包括受 GPU 限制的推理、受内存限制的检索以及受 CPU 限制的沙箱，不同任务的延迟差异最高可达 32 倍；（3）系统瓶颈会随着请求、模型和部署环境的变化而转移；（4）生产环境中的会话在活跃执行步骤之间，会将状态闲置保留数分钟至数小时；（5）控制平面开销——包括辅助性 LLM 调用，以及工具模式定义和观测结果带来的上下文开销——挤占了用于实际任务处理的计算资源和上下文空间；（6）来自三个应用的生产环境轨迹表明，不同请求之间的搜索查询和网页获取操作存在大量冗余，揭示了巨大的缓存优化机会。
我们通过四项设计探索证明了这些发现具有实际应用价值：任务感知的服务机制将延迟降低了 29%–40%；通信感知的组件放置策略实现了最高 4.5 倍的性能提升；状态卸载将内存使用量降低了 4.6 倍；工具结果缓存消除了 35.2% 的冗余搜索调用，并节省了 19.3% 的搜索总延迟。
原文链接：arxiv.org
