6
0arxiv.org，created by ai
播客标题： 解锁点击率预测新纪元：DGenCTR如何通过生成范式超越传统模型
节目描述： 在本期节目中，我们将深入探讨一篇关于点击率（CTR）预测的突破性研究——DGenCTR。为什么传统的CTR模型会遇到性能瓶颈？现有的生成式推荐系统又为何不适用于CTR任务？DGenCTR如何巧妙地结合离散扩散模型和两阶段训练框架，不仅解决了这些难题，还在离线实验和在线A/B测试中取得了显著成效。如果您对推荐系统、深度学习或生成模型感兴趣，这期节目不容错过！
Shownotes：
一、引言：点击率预测的重要性与挑战
• CTR预测的核心作用：作为推荐系统中的核心模块，CTR模型通过整合用户和目标商品信息，预测用户点击商品的概率，进而决定商品的最终排序。它也常用于CPC（每次点击成本）广告系统的定价。
• 传统判别式CTR模型的局限性：
◦ 性能瓶颈与天花板：依赖二元行为标签，模型容易过拟合少数高预测性特征，而非学习鲁棒且泛化性强的特征表示。
◦ 捷径学习与表示崩溃：导致泛化性差、表示崩溃，无法受益于深度学习的“缩放法则”，简单增加模型规模也难以突破性能上限。
• 现有生成式推荐模型的不足：
◦ 主要关注序列生成：现有研究大多集中在顺序推荐，将其视为文本生成任务，通过自回归范式生成用户行为序列中的下一个商品。
◦ 牺牲关键交叉特征：这种方法需要去除目标商品与用户之间的交叉信息，而这些信息对于CTR预测至关重要，去除后会导致性能显著下降。
二、DGenCTR：为CTR预测量身定制的生成范式
• 核心理念：样本级生成：
◦ 不同于传统的商品生成，DGenCTR提出样本级生成范式，专注于生成单个样本内的特征，从而保留了传统CTR模型所需的所有特征信息。
◦ 此范式能够扩展模型的预测空间，增强对样本分布的建模能力，并有助于探索CTR领域的缩放法则。
• 为何选择离散扩散模型？：
◦ CTR样本的输入特征具有排列不变性（改变顺序不影响预测结果），而用户行为序列则具有时间顺序。
◦ 离散扩散方法在架构上具有根本优势，它能对所有特征进行等效处理，并利用全局关系进行去噪，从而尊重数据的排列不变性，增强模型捕捉样本整体结构的能力。
• DGenCTR的两阶段训练框架：
◦ 阶段一：基于扩散的生成式预训练 (Diffusion-Based Pretrain, DP)
◦ 阶段二：CTR目标导向的监督微调 (CTR-Targeted Supervised Fine-Tuning, CSFT)
三、DGenCTR 两阶段训练详解
• 第一阶段：生成式预训练：
◦ 目标：模拟扩散过程逐步恢复被破坏的特征，学习正样本和负样本的不同分布。这迫使模型学习更鲁棒、结构化的参数，克服传统二元分类目标的性能瓶颈。
◦ 输入格式：模型输入同时包含特征集合F和行为标签y ({ 𝑓 1, ..., 𝑓 𝑁 , 𝑦})，确保预训练过程感知样本标签，使学习到的表示能够正向迁移到CTR任务。
◦ 正向扩散过程：将干净数据样本逐渐（通过离散时间步）破坏为纯噪声状态。通过增量遮蔽（masking）输入特征值实现腐化，每个特征最终会过渡到一个特殊的吸收态（[MASK] token）。
◦ 逆向去噪过程：模型通过学习逆向转移率矩阵来去噪被破坏的样本。其核心是根据有噪声的输入预测原始、干净的特征，并通过重参数化简化学习目标，使得模型学习条件概率 𝑝0 (𝑥𝑘𝑡 |𝑿𝑈𝑀 𝑡 )。
◦ 预训练目标函数：采用去噪得分熵损失，并通过采样Softmax解决高基数ID特征导致输出空间过大的计算难题。
• 第二阶段：CTR目标导向的监督微调：
◦ 目标对齐：由于预训练中的标签感知生成与最终的CTR目标一致，CTR预测任务可以视为预训练中去噪过程的特例。
◦ 参数无损迁移：所有预训练的模型参数（包括底层特征表示）都可以直接、无损地转移到下游CTR任务。
◦ 最大化知识利用：通过真实用户行为标签进行微调，最大化利用预训练阶段获得的有效信息，从而提高模型的预测精度，使其输出分数更接近真实数据分布。
四、实验验证与成果
• 广泛的离线实验：在Criteo、Avazu、Malware和工业数据集上进行评估。
◦ 超越SOTA：DGenCTR在所有数据集上均显著优于现有最先进的判别式和生成式CTR模型。这表明判别式方法已达性能瓶颈，而直接应用自回归生成范式会导致性能显著下降。
◦ 参数迁移研究：验证了完整迁移所有预训练参数的重要性。特别是，预训练好的评分网络不仅学习了静态特征表示，更学习了如何建模特征交互的功能逻辑，提供了强大的归纳偏置。
◦ 消融研究：证实了每个模块（标签感知生成、扩散过程、为每个特征使用独立评分函数）对预测准确性的贡献。例如，缺乏标签感知建模会导致预训练与CTR任务之间分布不一致；去除扩散过程、采用Mask-BERT方法则因缺乏“全局到局部”生成过程而性能下降。
◦ 参数分析：确定了训练周期和扩散步数的最佳配置，发现性能增益在一定阈值后饱和。
◦ 缩放研究：DGenCTR展现出强大的可扩展性，增加HSTU模块数量可显著提升性能。研究发现CTR任务中的生成式预训练遵循缩放法则，这在CTR领域是此前未充分探索的现象。
• 在线A/B测试：
◦ 在某国际电商平台的在线广告系统进行了10天A/B测试。
◦ 与基线判别式模型相比，DGenCTR实现了累积收入增加6.9%，CTR提升5.8%。
◦ 部署友好：虽然训练计算量更大，但额外开销仅限于离线预训练阶段。在线推理时，微调后的网络架构与基线模型相同，不增加额外的推理延迟和时间/空间复杂度。
五、总结与展望
• DGenCTR成功设计了首个针对CTR任务的通用离散扩散生成范式，解决了传统模型的局限和现有生成模型的不足。
• 通过精细化建模正负样本分布，学习鲁棒参数，并通过预训练和微调的无缝衔接，最大化地利用了生成模型的强大能力。
• DGenCTR不仅在理论上带来了新的视角，其显著的实验成果和在线部署的成功也证明了其在实际应用中的巨大潜力
