20
1本期介绍了一种名为Epiplexity（认知复杂性）的新型信息度量衡，旨在解决传统信息论在处理现代人工智能时面临的局限。作者指出，传统的香农熵和算法复杂度无法解释为何计算受限的模型在处理相同信息量的数据时，会因数据顺序或结构的不同而产生显著的学习差异。
通过分析归纳现象、涌现过程以及加密算法中的单向函数，研究揭示了计算约束如何迫使模型提取超越原始生成规则的复杂结构。Epiplexity 能够量化模型从数据中获取的“可用结构信息”，而不仅仅是随机性。实验证明，该指标与模型的分布外（OOD）泛化能力高度相关，为理解语言模型为何优于图像模型提供了理论依据。最终，这项研究为数据筛选、预训练优化以及理解人工智能的演进提供了一个将计算与信息深度结合的新视角。
