636
1视频版：www.bilibili.com
1. 前言 00:00
AI 模型训练，涉及非常多的概念和算法和系统设计，
学会了 Llama_factory，就成了 AI 模型训练的专家。
2. 基座模型的选择 01:23
从 ModelScope 上手工下载部署基座模型，
Llama_factory 的模型名称，略有瑕疵，用户要避免误解。
3. 模型训练的类型 05:32
Pre-training，SFT，RLHF，DPO，KTO，如何选择模型训练类型？
我们将单独做一期节目，分享我们的实战经验。
4. SFT 的训练方式 07:58
Full, freeze, lora，
其中普遍使用的是 LoRA，我们先从 LoRA 学起。
5. 量化和加速设置 08:51
flash_attention + liger_kernel 可以并用，
但是 unsloth 不能与它们并用。
6. 训练参数设置 11:57
略显草率的 UI 设计，用户要避免迷失，
通用的参数设置，与训练类型相关的参数设置，与训练类型相关的的补充设置，
以及训练结果的记录和分析，SwanLab，
不应该安排在页面同一个框内。
7. 数据集 16:07
先手工从 ModelScope 下载数据集，
下载完成后，然后再启动 Llama_factory，
哪些数据集，适用于哪些模型的哪些训练方法，需要阅读 Llama_factory 的 github pages，
8. 命令行 preview 18:25
前序 configs，都是为了设置这个命令行中的各个参数，
能否单独用 Unsloth？当然可以，
其实所谓单独使用 Unsloth，等同于手工设置命令行。
9. 训练与体验 19:57
训练过程，日志，与调优，
专业的冷门的问题，“请问，鹿角铲是装饰品，还是古代祭祀用的礼器，还是工具？”
10. 总结 24:32
学会了 Llama_factory，就成了 AI 模型训练的专家，
参考文献，
1. 知乎上的指南，“LLaMA-Factory QuickStart” (zhuanlan.zhihu.com)，
2. Llama_factory 官方指南 (llamafactory.readthedocs.io)，
3. Llama_factory 论文，“LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models” (arxiv.org)。
