如何让自动评估真正贴合人类判断，是模型生成高价值文本场景的痛点。LLM-RUBRIC应运而生：它用人工制定的评估准则，让模型在多个维度分别作答并输出概率分布，再通过一个兼顾个性化与全局参数的前馈神经网络进行聚合校准。实验中，完整方法比未校准的大模型与人类判断的相关性提升了两倍以上。
校准LLM裁判：LLM-RUBRIC如何对齐人类评估标准
10分钟 ·
15·
0
150
00:00
00:00
150如何让自动评估真正贴合人类判断，是模型生成高价值文本场景的痛点。LLM-RUBRIC应运而生：它用人工制定的评估准则，让模型在多个维度分别作答并输出概率分布，再通过一个兼顾个性化与全局参数的前馈神经网络进行聚合校准。实验中，完整方法比未校准的大模型与人类判断的相关性提升了两倍以上。