从零构建大语言模型（第一章）

从零构建大语言模型（第一章）欢迎收听“周六九点半”！本期节目，我们一起深入探讨了如何从零开始构建大语言模型。我们以《从零开始构建大语言模型》这本书的第一章为基础。节目的相关资料，包括本书的中文译本链接，都可以在节目下方找到。本期要点速览选择大模型学习路径：为何学习大模型： 嘉宾表示，大模型已无处不在，作为一名数学背景的从业者，希望能深入理解其底层逻辑，从而更好地使用和掌控 AI 产品，避免盲目使用。
书籍选择：《从零开始构建大语言模型》。这本书的亮点在于它从零开始教授如何构建 LMM，包括亲手实现 Self-Attention 机制和预训练过程。本书更侧重代码实践而非复杂的理论公式，适合希望通过动手实践理解 LMM 搭建过程的读者。大语言模型的基础构建：数据来源与质量： 大模型的训练数据主要来源于网络爬虫，其中 Wikipedia 被认为是高质量数据的来源。尽管 Wikipedia 数据量相对较小（约 500GB），但其人工审核确保了数据质量，而网络爬取的数据虽然量大，但质量参差不齐。
数据中的“噪音”： 嘉宾讨论了数据中存在大量噪音（如 Common Crawl）是否会影响模型性能的问题。实验表明，神经网络即使在 50% 的随机标签数据下，也能保持较高准确率，暗示高质量数据并非绝对必要，模型对噪音有一定容忍度。Transformer 架构的演变：Encoder 与 Decoder： 讨论了 Transformer 架构中的 Encoder（编码器）和 Decoder（解码器）在不同模型中的应用。

BERT 与 GPT 的区别：BERT： 采用 Encoder 架构，通过“完形填空”的方式预测被遮蔽的词语，训练方式是预训练一个通用模型再进行微调。
GPT： 仅采用 Decoder 架构，通过 Next Token Prediction（预测下一个词）的方式进行训练。嘉宾认为 GPT 的这种训练方式更直观地模仿了人类对话模式，也更容易实现通用智能。
早期实践与理解： 嘉宾分享了早期使用 Attention 机制的经验，发现其在序列较短时效果不佳，但在长序列任务中才能发挥优势。大模型的训练与微调：预训练（Pre-training）： 大模型通过在海量数据集上进行无监督的 Next Token Prediction 任务来学习语言的通用模式，从而形成 Foundation Model（基础模型）。

微调（Fine-tuning）：指令微调（Instruction Fine-tuning）： 在基础模型之上，通过少量高质量、经过标注的数据集（例如 QA 数据）进行微调，使模型更好地遵循用户指令并产生特定领域的知识。
强化学习与人类偏好（RLHF）： 模型通过学习人类反馈来调整输出，使其更符合人类偏好，从而提升通用智能。
LoRA (Low-Rank Adaptation)： 一种高效的微调方法，通过在模型中添加小型适配器（adapter）来训练特定领域的数据，从而在不修改原模型主体的情况下实现领域定制化，节省资源。AI 编程工具的使用体验：Cursor 的进化： 嘉宾认为 Cursor 等 AI 编程工具已从最初的代码生成发展到能够自动纠错，具备了 Agent（智能体）的特性。对当前主流 AI 模型的评价：GPT-4： 代码能力强大，但缺乏自动化纠错能力。
Claude 3.7： 具备更强的 Agent 特性，能够自动纠错，整体表现更胜一筹。
Gemini： 在文科（长文本总结、指令遵循）表现顶尖，但在代码能力上仍有提升空间。
国产模型： DeepSeek 和千问等国产模型表现强劲，但整体涌现能力仍有待提升。Self-Attention 机制的理解：QKV 结构： Self-Attention 通过 Query（查询）、Key（键）和 Value（值）计算词语之间的相似度，从而分配注意力权重。
长序列优势： Self-Attention 在处理长序列时能发挥其优势，而在短序列中可能不如简单的全连接结构。
长文本的挑战： 在极长文本中，注意力分配会遇到瓶颈，模型可能出现“幻觉”，因为注意力资源有限，难以有效处理所有信息。有研究表明，模型可能更侧重于文本的开头和结尾。下期预告第二章我们将进入实战环节，深入探讨如何处理大模型训练数据，敬请期待！欢迎大家关注我们的节目，也欢迎大家下载并阅读本书的中文版本，链接在节目下方。
dagithub.com

欢迎收听“周六九点半”！本期节目，我们一起深入探讨了如何从零开始构建大语言模型。我们以《从零开始构建大语言模型》这本书的第一章为基础。节目的相关资料，包括本书的中文译本链接，都可以在节目下方找到。

本期要点速览

• 选择大模型学习路径：为何学习大模型： 嘉宾表示，大模型已无处不在，作为一名数学背景的从业者，希望能深入理解其底层逻辑，从而更好地使用和掌控 AI 产品，避免盲目使用。
  书籍选择：《从零开始构建大语言模型》。这本书的亮点在于它从零开始教授如何构建 LMM，包括亲手实现 Self-Attention 机制和预训练过程。本书更侧重代码实践而非复杂的理论公式，适合希望通过动手实践理解 LMM 搭建过程的读者。
• 大语言模型的基础构建：数据来源与质量： 大模型的训练数据主要来源于网络爬虫，其中 Wikipedia 被认为是高质量数据的来源。尽管 Wikipedia 数据量相对较小（约 500GB），但其人工审核确保了数据质量，而网络爬取的数据虽然量大，但质量参差不齐。
  数据中的“噪音”： 嘉宾讨论了数据中存在大量噪音（如 Common Crawl）是否会影响模型性能的问题。实验表明，神经网络即使在 50% 的随机标签数据下，也能保持较高准确率，暗示高质量数据并非绝对必要，模型对噪音有一定容忍度。
• Transformer 架构的演变：Encoder 与 Decoder： 讨论了 Transformer 架构中的 Encoder（编码器）和 Decoder（解码器）在不同模型中的应用。
  
  BERT 与 GPT 的区别：BERT： 采用 Encoder 架构，通过“完形填空”的方式预测被遮蔽的词语，训练方式是预训练一个通用模型再进行微调。
  GPT： 仅采用 Decoder 架构，通过 Next Token Prediction（预测下一个词）的方式进行训练。嘉宾认为 GPT 的这种训练方式更直观地模仿了人类对话模式，也更容易实现通用智能。
  早期实践与理解： 嘉宾分享了早期使用 Attention 机制的经验，发现其在序列较短时效果不佳，但在长序列任务中才能发挥优势。
• 大模型的训练与微调：预训练（Pre-training）： 大模型通过在海量数据集上进行无监督的 Next Token Prediction 任务来学习语言的通用模式，从而形成 Foundation Model（基础模型）。
  
  微调（Fine-tuning）：指令微调（Instruction Fine-tuning）： 在基础模型之上，通过少量高质量、经过标注的数据集（例如 QA 数据）进行微调，使模型更好地遵循用户指令并产生特定领域的知识。
  强化学习与人类偏好（RLHF）： 模型通过学习人类反馈来调整输出，使其更符合人类偏好，从而提升通用智能。
  LoRA (Low-Rank Adaptation)： 一种高效的微调方法，通过在模型中添加小型适配器（adapter）来训练特定领域的数据，从而在不修改原模型主体的情况下实现领域定制化，节省资源。
• AI 编程工具的使用体验：Cursor 的进化： 嘉宾认为 Cursor 等 AI 编程工具已从最初的代码生成发展到能够自动纠错，具备了 Agent（智能体）的特性。
• 对当前主流 AI 模型的评价：GPT-4： 代码能力强大，但缺乏自动化纠错能力。
  Claude 3.7： 具备更强的 Agent 特性，能够自动纠错，整体表现更胜一筹。
  Gemini： 在文科（长文本总结、指令遵循）表现顶尖，但在代码能力上仍有提升空间。
  国产模型： DeepSeek 和千问等国产模型表现强劲，但整体涌现能力仍有待提升。
• Self-Attention 机制的理解：QKV 结构： Self-Attention 通过 Query（查询）、Key（键）和 Value（值）计算词语之间的相似度，从而分配注意力权重。
  长序列优势： Self-Attention 在处理长序列时能发挥其优势，而在短序列中可能不如简单的全连接结构。
  长文本的挑战： 在极长文本中，注意力分配会遇到瓶颈，模型可能出现“幻觉”，因为注意力资源有限，难以有效处理所有信息。有研究表明，模型可能更侧重于文本的开头和结尾。

下期预告

第二章我们将进入实战环节，深入探讨如何处理大模型训练数据，敬请期待！

欢迎大家关注我们的节目，也欢迎大家下载并阅读本书的中文版本，链接在节目下方。

大语言模型书籍双语版本：github.com

代码: github.com