今天的这篇的主题是: E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。
如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。
联系小助手微信:eccstartup(加群/投稿论文)
Summary
长流程智能体(Long-horizon agentic)任务绝非简单地在更多交互轮次中将短期任务进行串联。其不断动态演化的环境与长跨度依赖关系,要求大语言模型(LLM)必须在成千上万个步骤中持续探索、从经验中学习并动态调整其策略。
我们推出了 E-Commerce Bench,这是首个将多轮对手谈判与动态事件整合到长达一年的商业运营中的开源基准测试。在为期 365 天的一年中,LLM 智能体需要同时运营多家在线店铺,开展市场调研、与供应商谈判采购库存、优化销售策略、履约订单、处理退货并管理现金流,以实现年终总资产的最大化。
为了构建逼真的商家侧运营环境,产品与供应商数据均源自真实的电商平台;同时,涵盖促销活动、自然灾害和供应链冲击的一年期日历不断重塑市场需求。为确保可复现性,市场双边均为确定性设计:客户采购与退货遵循固定的需求模型,谈判核心引擎则决定供应商的定价、让步与决策,LLM 仅用于将其表达为文本语言。
我们在包括年终资产在内的七个维度上对 18 个前沿模型进行了评估,结果表明没有单一模型能够占据绝对主导地位。GPT-5.6 Sol 的收益最高,将 100,000 的初始本金增长至 1,431,425,但它在防范欺诈方面仅排在 18 个模型中的第 16 位,且在运营效率上落后于 Fable5。在开源/开放权重模型中,Qwen3.8-Max-Preview 以 416,252 的成绩保持领先,比 GLM 5.2 (high) 高出 38%,并在整个测试周期内展现出了最强的学习能力,能够在重复下单的过程中逐步压低采购价格。
原文链接:arxiv.org

