2601.03220 从熵到表观性-重新定义信息价值

这篇名为《从熵到表外性：为计算受限智能重新思考信息》的论文提出了一种新的信息量化方法，名为表外性 (epiplexity)，旨在解决传统香农信息论和柯尔莫哥洛夫复杂度在衡量计算受限观察者可学习信息时的不足。作者指出，传统理论假设了无限的计算能力，导致其无法捕捉到数据中有用且可构建的内容，而表外性则专门量化数据中的结构内容。通过引入这一概念，论文挑战了信息论中信息量不能通过确定性转换增加等悖论，并展示了计算如何创造信息、信息如何依赖于数据排序，以及该度量如何能实际应用于数据选择以提高机器学习系统的泛化能力。