大语言模型能预测情绪,并不代表它理解了情绪是如何产生的。CAREBench基于评价理论,把评测拆成“情境理解—评价推理—情绪反应”三个环节,并结合第一人称与第三人称标注,分析模型究竟在哪一步出错。对六个模型的实验发现,强模型在最终情绪预测上可接近甚至超过人工基线,但在评价推理、正面情绪识别和主观差异建模上仍有明显缺口。这提醒我们:评测情绪理解,不能只看最终标签,还要检查中间认知过程。
原文:arxiv.org

大语言模型能预测情绪,并不代表它理解了情绪是如何产生的。CAREBench基于评价理论,把评测拆成“情境理解—评价推理—情绪反应”三个环节,并结合第一人称与第三人称标注,分析模型究竟在哪一步出错。对六个模型的实验发现,强模型在最终情绪预测上可接近甚至超过人工基线,但在评价推理、正面情绪识别和主观差异建模上仍有明显缺口。这提醒我们:评测情绪理解,不能只看最终标签,还要检查中间认知过程。
原文:arxiv.org