这段内容源于 2017 年 UAI 大会的教程，由研究员 Shakir Mohamed 和 Danilo Rezende 深入探讨了生成式模型的前沿发展。文本通过将概率图形模型与深度学习计算图相结合，系统地介绍了如何构建能够理解复杂数据分布的智能体。作者详细对比了显式模型（如自回归模型）与隐式模型（如生成对抗网络 GANs），并阐述了变分推断在处理潜在变量中的核心作用。文中特别强调了随机优化技术的应用，包括评分函数估计器和路径积分梯度等，旨在降低模型训练中的方差。此外，教程还展示了生成模型在超分辨率、药物发现及强化学习等多元领域的广泛潜力。最后，作者通过介绍正规化流（Normalizing Flows）等技术，展示了如何利用深度神经网络构建比传统高斯分布更复杂的后验概率分布。

揭秘大模型长文本检索的幕后功臣：不到5_的“检索头”如何终结AI幻觉与提升效率

《检索头》论文精读：如何用“稀疏”且“因果”的机制，让大模型准确检索长文本信息？

解密谷歌DeepMind“广义知识蒸馏”GKD：如何让强大AI模型更小、更快、成本降百倍？

策略性知识蒸馏：GKD如何解决大型语言模型“暴露偏差”与实用性权衡（论文精读与辩论）

这篇研究论文介绍了**“电路追踪”方法，旨在揭示大型语言模型内部的计算机制。作者通过构建一个“替代模型”，用更易于解释的“跨层转码器”近似原始模型的多层感知器，从而生成模型的“归因图”。这些归因图描述了模型在特定提示下，信息如何通过不同“特征”进行流动的计算步骤序列**。 论文详细阐述了归因图的构建、特征的理解和标注（包括将相关特征聚合成**“超节点”），并通过干预实验验证了图中提出的机制。此外，文章还讨论了“全局权重”的概念，以期理解跨多个提示的特征交互，并指出了当前方法的局限性，例如忽略注意力电路和重建误差**。 通过对首字母缩略词生成和简单加法等案例研究，作者展示了如何识别模型内部的启发式策略和并行计算路径。这项工作为理解复杂的语言模型行为奠定了基础，并为后续在更先进模型（如 Claude 3.5 Haiku）上的应用铺平了道路，以探索其在多步推理、规划和幻觉等方面的**“生物学”**机制。

深入剖析LLM：Transformer_架构演进与实践精要

深入探讨了大型语言模型（LLM）的架构和超参数。讲座首先回顾了Transformer模型，并比较了原始版本与现代实现的差异，强调了预归一化（pre-norm）和RMS归一化（RMS norm）等关键结构改进，以及放弃偏置项以提高稳定性和效率的趋势。文章还讨论了激活函数，特别指出门控线性单元（GLU）变体在性能上的优势。接着，讲座转向超参数，为前馈层大小、注意力头维度与模型维度之比、模型深度与宽度以及词汇表大小提供了共识性的经验法则。最后，讲座探讨了训练稳定性技巧，如Z-loss和QK归一化，以及旨在优化推理效率的多查询注意力（MQA）和分组查询注意力（GQA）。

详细介绍了从零开始构建语言模型，重点是PyTorch原语和资源核算。它首先讨论了PyTorch中的张量，包括它们的存储、内存使用以及不同浮点数据类型（如FP32、FP16和BF16）的权衡。该讲座随后探讨了计算成本，特别是矩阵乘法在深度学习操作中的主导作用，以及如何计算浮点运算（FLOPs）和模型浮点利用率（MFU）。此外，它解释了反向传播期间梯度计算的资源需求，并介绍了参数初始化、优化器（如Adagrad和Adam）以及模型训练循环。最终，该讲座强调了理解内存和计算核算对于高效训练大型语言模型的重要性，这些概念将在未来应用于Transformer模型。

更多AI视频教程 小红书：玄武大模型： https://xhslink.com/m/3nTKYAYeHlf 抖音：伊恩玄武大模型： https://v.douyin.com/wjin27iQu1g/ 教程全面介绍了Google旗下最新发布的AI绘画模型Nano Banana，并演示了其强大的图像生成和编辑能力。教程详细展示了Nano Banana在人物一致性、电商应用、连续镜头创作和文字编辑等方面的卓越表现，例如能够为人物更换服装、发型，将产品图融入不同风格的模特照中，以及根据草图生成完整图像。此外，教程还分享了六种免费使用Nano Banana的方法，帮助用户高效利用这一先进工具进行创作。

本文件是一篇提交至arXiv预印本服务器的计算机科学论文，探讨了大型基础模型后训练中两种常用技术——监督微调 (SFT) 和强化学习 (RL) 的差异。该研究比较了SFT和RL在模型泛化能力和记忆能力方面的表现，重点关注文本和视觉变体。为评估模型泛化能力，研究者引入了“GeneralPoints”纸牌游戏和“V-IRL”导航环境。结果表明，RL，特别是当使用基于结果的奖励进行训练时，在文本和视觉变体上均表现出更强的泛化能力，而SFT则倾向于记忆训练数据。尽管RL在泛化方面表现出色，SFT仍被认为是RL有效训练的关键，因为它能稳定模型的输出格式，从而使RL实现性能提升。

这些材料来自斯坦福大学CS336课程的首次讲座，该课程名为“从头开始构建语言模型”。本次讲座由Percy和Tatsu主讲，概述了课程内容和目标。课程旨在让学生端到端地理解构建语言模型的完整流程，涵盖数据、系统和建模方面。讲座强调了亲自动手构建的重要性，因为研究人员与底层技术的联系日益减弱。尽管前沿模型因其规模和成本而遥不可及，但学生仍将学习机制、思维模式和直觉，以在计算和数据预算有限的情况下构建最优模型。课程还将深入探讨标记化（特别是字节对编码）以及优化效率的系统方法。

该 YouTube 视频由 Andrej Karpathy 主讲，介绍了一个名为 micrograd 的简化库。该库旨在通过从头开始构建自动梯度引擎，直观地解释神经网络训练的核心概念。Karpathy 逐步展示了 micrograd 如何通过创建数学表达式、执行前向传播和使用反向传播计算梯度来模拟神经网络的功能。他强调，尽管 micrograd 仅在标量值上运行，但其基础数学与 PyTorch 等更复杂的生产级库相同，从而有助于理解深度学习背后的基本原理。最终目标是让观众了解神经网络训练如何迭代调整权重以最小化损失函数并提高预测准确性。

这些材料来自斯坦福大学CS336课程的首次讲座，该课程名为“从头开始构建语言模型”。本次讲座由Percy和Tatsu主讲，概述了课程内容和目标。课程旨在让学生端到端地理解构建语言模型的完整流程，涵盖数据、系统和建模方面。讲座强调了亲自动手构建的重要性，因为研究人员与底层技术的联系日益减弱。尽管前沿模型因其规模和成本而遥不可及，但学生仍将学习机制、思维模式和直觉，以在计算和数据预算有限的情况下构建最优模型。课程还将深入探讨标记化（特别是字节对编码）以及优化效率的系统方法。

这些材料来自斯坦福大学CS336课程的首次讲座，该课程名为“从头开始构建语言模型”。本次讲座由Percy和Tatsu主讲，概述了课程内容和目标。课程旨在让学生端到端地理解构建语言模型的完整流程，涵盖数据、系统和建模方面。讲座强调了亲自动手构建的重要性，因为研究人员与底层技术的联系日益减弱。尽管前沿模型因其规模和成本而遥不可及，但学生仍将学习机制、思维模式和直觉，以在计算和数据预算有限的情况下构建最优模型。课程还将深入探讨标记化（特别是字节对编码）以及优化效率的系统方法。