过去,智能体评估越来越依赖 LLM-as-a-judge:它能理解复杂、开放的智能体行为,但速度、成本和结果稳定性始终是规模化应用的难题。Jev 的出现提供了另一种选择——这个 System One 模型不生成自由文本,而是直接输出带类型和概率的结构化判断,速度最高提升 200 倍、成本最多降低 450 倍,还能在一次请求中并行检查多个标准。把 Jev 用作裁判后,评估不仅更快、更便宜,在准确率和一致性上也表现出优势。LangSmith 将 Jev-as-a-judge 接入 Evals,正是在尝试把这种新型裁判用于真实的智能体评估流程。本期节目会介绍 Jev 的核心特点、实测效果,以及如何在 LangSmith 中使用它。

Jev裁判登场:AI智能体评估的百倍加速与省钱秘籍
9分钟 ·
17·
0