大厂广告召回正在被LLM从源头重做——不是换个模型,而是训练数据怎么造、用户意图怎么抽、双塔怎么训,一层一层重新搭。本期聚焦沃尔玛赞助搜索团队的两篇工业落地论文,以及亿级低活用户LTV建模的蒸馏方案,共同揭示一个趋势:LLM做能力源,小模型做在线服务。
本期重点
- 用LLM标注数据做广告召回课程训练(Scaling Dense Retrieval with LLM-Annotated Training Data):沃尔玛把线上三路召回的"分歧"当成天然训练信号,用级联LLM打标替代人工,三阶段课程训练双塔,线上A/B拿到CTR和eCPM双涨。核心洞察朴素但有效——三路Top500只有13%重合,这种"打架"本身就是金矿。
- 意图感知的赞助商品召回(INSPIRE: Intent-aware Neural Sponsored Product Retrieval):同样来自沃尔玛,攻的是"隐式属性约束"——搜"no dairy creamer"却召回含奶产品的问题。方法是把八类结构化属性(品牌、饮食偏好、菜系等)显式拼到双塔输入,用多教师共识标注+LoRA蒸馏小模型跑全量,Precision@1提升4.2%,尴尬召回降50%。
- 亿级低活用户LTV蒸馏(ScaleToT):LLM直接推理亿级用户成本不可行,论文把结构化推理能力蒸馏到轻量模型,解决稀疏画像下推理不稳定的问题,线上LT30显著提升。和前两篇共享同一个方法论内核。
今日趋势
- 电商搜索/赞助检索成今日小高峰,沃尔玛两篇工作从数据生产和意图建模两面攻同一个商业问题,反映大厂广告召回正在系统性地用LLM重做数据侧与意图侧。
- "LLM做能力源、轻量模型做在线服务"成为多篇论文的共性范式,蒸馏和级联架构是落地的主流路径。
本期内容基于 AI 自动筛选与生成,详细日报与论文列表见:GitHub 归档。欢迎在评论区留言交流,告诉我们你最想深挖哪个方向。
