0
0今天的这篇的主题是： The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
LLM-as-a-Judge（以大语言模型作为评判器）利用大型语言模型来评估其他 AI 应用或模型生成的自然语言内容，已成为一种标准化、可扩展的方法，用于加速并扩展成本高昂的人工评估。然而，现有大多数研究将评判器视为静态产物，仅在构建时或针对固定基准进行一次性评估。我们则认为，部署在实际系统中的 LLM 评判器更适合从生命周期的角度来理解。随着周围数据不断演化，评判器必须经历构建、训练、部署和持续维护等阶段，而每个阶段都面临不同的技术与运营挑战。
我们介绍了 Netflix 用于评估推荐解释的 LLM 评判器的完整生命周期。本文报告的所有结果均来自一系列面向真实用户的受控在线实验。在这些实验中，我们的流水线每周针对不断变化的内容目录生成数十万条不同的剧集级推荐解释，并由评判器进行评估。
我们的框架包含四个阶段：
（I）诞生（Birth）：定义评估标准，并构建包含人工标注标签及其理由的精选基准数据集。
（II）训练（Training）：通过推理对齐的评分标准调优（Reasoning-Aligned Rubric Tuning，RART）来优化评判器的评分准则。该方法使用元评判器（Meta-Judge）对推理输出的评估结果作为学习信号。
（III）部署（Deployment）：让同一个评判器在在线系统中承担两种角色，即质量把关（Quality Gating）和反思式生成（Reflective Generation）。
（IV）监控（Monitoring）：运行持续的人类在环（Human-in-the-Loop，HITL）对齐流程，检测评判器的漂移，并在人工审核把关的前提下触发重新调优。
我们报告了一项在 Netflix 移动应用上开展、持续五周、覆盖数千万用户的在线 A/B 测试结果。实验表明，与不提供推荐解释的对照组相比，经过评判器对齐的推荐解释促使用户更多地观看新颖内容（此前未观看过的内容），并提高了从浏览到成功播放的会话数量，同时未出现任何与质量相关的升级处理事件。
原文链接：arxiv.org
