388
4活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！
最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。
对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。
他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？
节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。
就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。
希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！）
【人类博物馆】
导游：曲凯，42章经创始人
52 号珍藏：逯雨鑫，某知名 AI Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training
【时光机】
Part 1 训模型的实操经验
非 PhD / AI Lab 背景，凭什么能训出榜一模型？
训这两个模型的成本具体有多少？
个人训模型的完整 Pipeline 和避坑经验
最大的难点和卡点：数据
合成数据效果并不好？
数据从哪来、具体要用多少、如何配比？
数据难以提前预估效果的原因：Capacity Gap
简评蒸馏的各种路线，以及到底什么叫「聪明地蒸」？
自己训、自己用，性价比真的更高吗？
坑最少的开源模型是？
Part 2 对主权 AI 的思考
自己训模型会成为应用公司的标配吗？
训模型可能会成为一件商品化的事情？
应用公司反而可能会成为 Neo Lab?
AI Lab 和应用公司之间的分工可能会有什么变化？
现在 AI Lab 砸钱买数据，就有点像移动互联网早期字节砸钱买用户
如果主权 AI 真的兴起，AI Lab 的价值会有什么变化？
Local AI 会不会成为 PC 级别的机会？
用户最终会不会还是希望用上 SOTA 级别的智能，而不是 Local AI？
【活动预告🥳】
9 月 12 日，我们会请到雨鑫做一场线上活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！
【The gang that made this happen】
制作人：陈皮
剪辑：陈皮
片头：Mondo Bongo - Joe Strummer & The Mescaleros
片尾：Spacemen 3 - Set Me Free (Reprise)
