本期解读约翰霍普金斯大学论文《通用权重子空间假设》:研究团队用HOSVD算法分析1200多个神经网络,发现不同任务、不同模态的模型权重倾向收敛到共享低维子空间。自媒体夸张为"所有AI都是同一个模型"和"只需16维",但16维只是SVD截断口径、LoRA共享同一基座、不同架构子空间互不对应。2021年Meta AI内在维度研究揭示数学根源:海森矩阵"主体与外点"谱分布使99%以上方向曲率近零。定理3.7证明子空间估计收敛性。Steven Thompson投影悖论实验:权重几何误差99%但代码能力在HumanEval上几乎无损。论文显示ViT内存压缩100倍、新任务适配仅需1万参数,既指向"MP3时刻"也敲响单作危机警钟。
原视频来自:youtu.be
聊天讨论群,可加微信gxjdian入群,需备注,来自播客AI前沿
