大型语言模型是通过训练逐渐“长出来”的,并非由人逐条编写规则。Anthropic 可解释性研究员 Emmanuel Ameisen 在访谈中解释了,简单的下一词预测目标,如何产生复杂推理、内部世界表征与规划能力。
研究者将可解释性研究类比为神经科学:通过观察和实验,解读模型内部的激活,理解它如何处理概念、完成任务。对话还讨论了模型能力如何随规模增长,并在某些阈值突然变得实用,以及为什么需要持续进行 AI 安全与对齐研究。
来源:Lenny’s Podcast — A mind-expanding conversation on how models actually work | Emmanuel Ameisen (Anthropic)

