人工智能面临的“那堵墙”

这篇名为“大语言模型面临的困境”的论文**探讨了大型语言模型（LLM）能力的根本限制**。作者认为，**决定LLM性能的缩放定律严重制约了它们提高预测不确定性的能力**，从而使得达到科学探究所需的可靠性标准变得难以实现。论文进一步提出，**LLM生成非高斯输出分布的能力可能是导致错误累积、信息灾难和人工智能退化行为的根源**。尽管存在这种退化的可能性，**作者也讨论了避免这种情况的方法**，强调需要更深入地理解所研究问题的结构特征。