0
0模型越大、层数越深，推荐/广告排序就越只推热门——今天两篇论文从现象侧和理论侧同时锁定了这个问题的根因与解法，对正在走 Transformer scaling 路线的广告系统有直接警示意义。
本期重点
- Scaling的陷阱：Transformer推荐扩参时流行度偏置被放大（The Pitfall of Scaling Up）——SASRec从2层加到8层，最大奇异值能量占比从70%飙到99.9%，长尾曝光同步崩塌。论文从谱分析角度定位根因为"注意力+FFN共同放大"，并给出仅增加约3%训练开销的SPRINT正则方案，可直接嵌入广告精排/粗排的深层Transformer。
- 点积打分里的秩一流行度成分（A Rank-One Popularity Component in Dot-Product Recommender Scores）——基于阿里数据证明：只要用点积+softmax，最优打分必然包含一个跟用户无关的log p(i)项，它在打分矩阵里形成rank-one结构，这才是item embedding各向异性的根因。解法极简——训练时把log p(i)外置为固定bias，实测popularity方向能量下降98.6%，NDCG还涨了2.7个点。
今日趋势
- 两篇论文可以连起来看：前者是scaling下的现象观测，后者从训练分布层面给出理论解释，共同指向一个结论——推荐/广告scaling时必须显式处理item-marginal这一项。
- 工业级"省资源"方向持续活跃：URecJPQ做多模态ID embedding量化压缩，另有工作用免训练图过滤替代GCN协同过滤，两条路径都在回应大规模推荐系统的内存/算力瓶颈。
补充关注
- SOHET：Booking.com的异构事件序列Transformer+自监督预训练做反欺诈，结构与广告CTR/转化的用户行为序列建模高度同构。
- AgentRiskBOM：为Agent系统引入安全物料清单，反映Agent研究正从"能做什么"分化出"怎么安全地做"。
📎 今日完整日报与论文列表：GitHub 归档
欢迎在评论区留言交流。本期内容由 AI 自动生成，如有疏漏欢迎指正。
