大模型是如何炼成的——训练篇

自 2022 年 11 月底 ChatGPT 发布以来，大模型的热度持续发酵，相信高屋建瓴的讨论大家已经看了很多了。所以我们选择从实用角度，分别就算力、算法、工程、数据和团队讨论了训练一个千亿参数量级的大语言模型和ChatGPT需要些什么，希望能够给正在尝试拥抱大模型的业务决策者和技术人员一些有价值的参考。

收听指南：

01:41： 当我们讨论大模型时其实是在讨论什么？

11:37：想训大模型？这里有一张入场费账单

21:15： 如何训练大模型效率会更高?

1:17:07：训练中文大语言模型，你的数据够用吗?

1:27:23：训出大模型，人海战术可能并不好使

1:33:36：One More Thing，嘉宾的互问互答

播客讨论精华文字请见 OneMoreAI 微信公众号

本期主播：Kiwi、冠叔、龙老师、欣然

本期BGM：Prelude from Cello Suite No.1 in G major, BWV 1007，by Johann Sebastian Bach