“苦涩的教训”被误解了

批判了对“痛苦的教训”的普遍误解，该教训长期以来被视为计算能力是人工智能进步的终极驱动力。作者提出，真正的瓶颈不是计算，而是高质量的数据。尽管传统的理解强调通过利用大规模计算的通用方法来扩展模型，但缩放定律揭示了计算能力与数据量之间更深层次的关系，表明计算预算与数据集大小呈二次方关系。由于互联网上的高质量数据已所剩无几，未来的进步将取决于架构师通过改进模型结构来更有效地利用现有数据，或炼金术士通过生成新数据来克服稀缺性。因此，文章总结说，人工智能领域的成功将取决于能够有效应对数据稀缺性的团队，而非仅仅追求更多的计算资源。