这是《商业访谈录》的跨年特辑。我邀请拾象创始人李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些人类最聪明的大脑，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
人类这场以大模型为名的豪赌实验，能否将世界带到新的摩尔时代？简单说，模型产业的发展规律会不会极类似半导体行业：未来，模型能力每1-2年提升一代，模型训练成本每18个月是原来的1/4、推理成本每18个月是原来的1/10。
广密今年一整年全身心泡在大模型，一大半时间肉身在硅谷，参与相关投资。这期信息量非常密集。我会在show notes里尽可能详细地标注播客中的专业词汇。
* 02:03 过去一年，大模型的核心secret藏在这三家公司：OpenAI、Anthropic、Google
* 04:22 回顾全球大模型这一年，我脑海里闪现的关键产品与瞬间
* 07:56 从OpenAI分裂出去的Anthropic，它的前世今生（OpenAI正以1000亿美元融资，Anthropic正以200亿-250亿美元融资）
* 10:26 硅谷大模型的融资是巨头在定价和主导了，硅谷VC几乎全体错过
* 12:13 卷了这一年，全球大模型到底卷出了什么？
* 14:03 如果复刻GPT-4是进入决赛圈，目前的3名入围选手和3名高潜黑马
* 15:20 提升模型capability的北极星指标与关键变量？
* 16:51 这次是极少数科学家推动的“登月时刻”，天才科学家的聚集效应与分布图
* 23:05 模型竞赛很残酷，我们对于终局的推演、猜想
* 23:53 中国模型公司现状：技术辨识度/资源集中度/领军人物
* 25:53 人类烧尽千亿美金做一场AI实验，赌的是什么？AI能推动未来15年全球GDP翻倍？
* 26:26 硅谷巨头和它们分裂的大模型阵营：微软和它支持的OpenAI/Google、Amazon和它们支持的Anthropic/Google自成一派/Tesla和它支持的X.AI/Apple——明年Apple支持谁值得关注
* 30:29 2024年会决定大模型格局，窗⼝可能就在未来12个⽉
* 33:39 大模型公司一定要追求GPT-4吗？不做怎么样？晚做到又怎么样？（壁垒）
* 37:35 大模型有可能开启了“新摩尔时代”：明线是智能capability提升，隐线是成本下降
* 46:16 硅谷模型公司更像research lab，八成以上可能性会被收购
* 49:15 学习硅谷经验，“国内公司也可以提前抱大腿”
* 50:34 大模型时代与互联网时代的不同特征（还没看到网络效应和数据飞轮）
* 54:53 回头看，今年初我们低估了GPT-4的难度，高估了应用爆发的速度
* 55:14 开源和闭源/大模型和小模型/通用模型和垂直模型的格局问题
* 57:47 多模态和Agent的下一步？
* 01:07:14 硅谷VC最大的竞争压力来自微软和OpenAI，GitHub前CEO Nat Friedman在这波AI里标的质量高，position比很多传统硅谷VC要好
* 01:11:33 对2024年的预测和猜想：应用大爆发？
* 01:20:04 美国“模型即应用”，国内产品和场景定义可能做得更好
* 01:26:00 说三条今年行业的最大噪音
* 01:27:05 OpenAI政变进展：Sam Altaman像政客，Ilya Sutskever不怎么去公司了
* 01:29:09 接下来，我最想知道的4个问题
提到的公司/产品/人：
* 全球前三的模型公司：OpenAI (ChatGPT)、Anthropic (Claude-2)、Google (Gemini)(Gemini Ultra)
* 另外可能的黑马：马斯克支持的X.AI、Transformer核心贡献者Noam Shazeer创办的Character.AI、字节
* 做开源模型的公司：Meta (Llama)、Mistral (一家欧洲做开源大模型的公司)
* 多模态：Midjourney (图像生成)、Runway/Pika (视频生成)
* DAU稳定在200w以上的产品：ChatGPT、Character.AI
* 企业级业务探索大模型的公司：微软copilot、Adobe
* 贡献很大的科学家：Noam Shazeer (Character.AI CEO)、Dario Amodei (Anthropic CEO)、Ilya Sutskever (OpenAI首席科学家)
* 在AI投资领域最欣赏的一个人：Nat Friedman (GitHub的联合创始人之一)
专业或英文词汇：
* ARR："Annual Recurring Revenue"，即年度经常性收入，是一种衡量公司在一年内通过订阅、合同或其他定期收费服务获得的收入的指标。它特别适用于那些提供订阅型服务的公司，如软件即服务（SaaS）公司。
* RLHF：基于人类反馈的强化学习，Reinforcement Learning from Human Feedback。
* Transformer：是一种用于自然语言处理（NLP）和其他序列到序列（seq2seq）任务的深度学习模型架构。它由Google在2017年的一篇论文中首次提出，并在提出后的几年中成为了许多NLP任务中的标准模型架构。Transformer架构抛弃了传统的循环神经网络（RNN）和长短时记忆网络（LSTM），而采用了自注意力机制（Self-Attention）来实现序列建模。
* inference cost：推理成本
* pre-train：预训练
* scaling law：在大模型领域，"scaling law"（规模定律）是指模型规模的增加与性能、能力或其他相关指标之间的关系。当在深度学习中讨论模型规模时，通常指的是模型参数的数量、训练数据的大小，或者计算资源的使用情况。规模定律通常涉及到增加模型规模会如何影响模型的性能和训练效果。
* diffusion model：扩散模型
延展阅读：本集文字精华版 & 拾象完整版
【更多信息】
本集首发于腾讯新闻，点击前往音频版
联络我们：微博@张小珺-Benita，小红书@张小珺jùn
更多信息欢迎关注公众号：张小珺

SHARE

COMMENT

VOICE_COMMENT

COMMENT_PAGE

CLAP

PICK

VOTE

AI_SUMMARIZE

张小珺

张小珺-Benita

benitazhang2021@163.com

努力做中国最优质的科技、商业访谈。

张小珺：财经作者，写作中国商业深度报道，范围包括AI、科技巨头、风险投资和知名人物，也是播客《张小珺Jùn | 商业访谈录》制作人。

如果我的访谈能陪你走一段孤独的未知的路，也许有一天可以离目的地更近一点，我就很温暖：）

AI_SUMMARIZE_EPISODE

张小珺Jùn｜商业访谈录

54. 口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观

3月，我们连续从多个角度关注了中国AGI进展，这集让我们把目光投向海外，对刚过去的 2024 Q1全球大模型的赛局做一个场上的复盘和点评。嘉宾是《商业访谈录》的老朋友、拾象CEO广密。
他提出，我们正处于一场宏大的“AGI大基建”时期。正如上世时期纪90 年代克林顿推出美国信息高速公路建设，这才有了后面的美国互联网泡沫破裂和互联网黄金20年——如果没有基建，就不可能有应用大爆发。
我的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）
* 01:45 盘点2024 Q1
* 03:40 开源 & 闭源
* 06:32 AGI 是马拉松
* 06:45 物理硬件成阻碍AGI最大因素
* 08:05 失败案例Inflection
* 08:41 黄仁勋的主权 AI、T5T、不鼓励996
* 10:34 渐进式解锁
* 12:29 改变软件生产方式+信息检索的变革
* 16:50 能源 + 芯片=产出智能
* 19:46 南坡是模型，北坡是产品
* 23:41 突然给经济社会加了两道税
* 25:30 AGI大基建：造价与玩家
* 26:34 训练GPT-3.5和GPT-4，消耗多少算力和能源？
* 39:37 电+芯片=产出智能
* 40:38 Scaling Law
* 47:26 AGI登山路线图和路标
* 57:40 OpenAI
* 01:04:02 集团军作战，如何结盟？
* 01:05:12 Apple、英伟达、阿里
* 01:07:20 Killer App、硅谷投资三大件
* 01:09:25 自动驾驶和机器人
* 01:15:47 我们作为碳基智能，为什么在追求硅基智能上这么热衷？
* 01:17:00 Sam、黄仁勋、马斯克
广密的上一集：《54. 口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观》
【更多信息】
联络我们：微博@张小珺-Benita
更多信息欢迎关注公众号：张小珺

64. 和广密聊AGI大基建时代：电+芯片=产出智能

今天这集是【全球大模型季报】第3集，我与广密从AI应用端出发，复盘全球大模型这半年的进展。
AI搜索是大模型在应用端达成的第一个共识。这次，我们详细聊了聊AI搜索企业Perplexity，关于它的创业、数据、竞争与护城河。Perplexity最新一轮估值已达30亿美元。
此外，我们聊了一些业界关心的重要话题：AI应用为什么还没有大爆发？GPT-5为什么那么慢？大模型的商业模式和壁垒究竟是什么？我们也对美国科技巨头过去半年的状况一一作了点评。
我们在这集节目增加了一个互动环节，大家可以就播客中提出的问题在评论区留言，也许嘉宾会现身回复哦：）
本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。
我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）
02:16 突然走红的Perplexity
* 过去1年，应用端比较无聊，Perplexity是唯一跑出来的（2000多万月活用户，2000多万美元ARR，年底可能到1亿月活，1亿美元ARR，月度环比增长20%以上）
* Perplexity的创始人和创立过程，硅谷核心圈都投了
* Perplexity的豪华投资人天团、已完成四轮融资与估值爬升过程
* （投资人包括：Google SVP Jeff Dean，Meta首席科学家Yann LeCun，OpenAI早期投资人Peter Thiel、OpenAI创始成员Andrej Karpathy、知名Solo GP Elad Gil，GitHub之前的CEO Nat Friedman，Databricks联合创始人Reynold Xin，Hugging Face CEO Clément Delangue，亚马逊创始人Bezos）
* 为什么硅谷的个人投资者参与这么多？
* 06:16 信息检索是匹配模型能力最合适的PMF
* 对于知识工作者有积累创造性任务：组合型创造-探索性创造-变革型创造（信息检索就是组合型创造）
* Perplexity CEO是先思考产品再思考模型，而不是先做模型再找落地场景
* 如果Perplexity能向下改模型，Anthropic收购Perplexity，这是很好的组合
* 11:12 Perplexity最新估值达30亿美元，为什么它值这么多钱？
* Perplexity这种产品形态和小红书长期是什么关系？都在抢传统搜索的生意
* Perplexity A轮融资的时候，我们拿它和头条早期数据做对比，很有意思（留存、用户心智）
* 英伟达投资了Perplexity，黄仁勋公开说他用做多的一个AI产品是Perplexity
* Perplexity怎么和Google、OpenAI竞争？错位竞争！
* 面对Perplexity，Google、百度这类传统搜索公司有哪些应对？
* 秘塔AI是中国的Perplexity吗？国内一个问题是：内容有割裂性
* 17:50 Perplexity的护城河是什么？会独立长大还是被并购？
* “今天的创业公司似乎都在巨头的辐射之下”
* 18:25 同样是30亿美元估值的月之暗面和Perplexity，本质区别是什么？
19:16 无聊的AI应用生态
* 首先画一张AI创业公司脑图（大模型公司估值显著高于AI应用公司）
* 21:10 海外版“大模型的资本扑克牌”，很清晰、巨头主导，关注Meta和Apple接下来会怎么落子
* 红杉美国只投了OpenAI和xAI
* 22:50 AI原生应用系统性大爆发了吗？没有！
* 为什么说现在模型能力和产品能力不够？
* 应用大爆发的关键条件有哪些？（模型能力、调用成本、速度latency）
* 26:55 未来6-12个月，哪些是高确定性问题？哪些高赔率问题？
* 大家远远低估了模型变小的速度——过去一年我们卷云端和数据中心的基建，未来一两年会卷端侧基建
* 模型变小的挑战是什么？
* Apple和OpenAI合作并不稳固，Apple和Anthropic也谈了一个合作，随时热插拔ChatGPT
* 接下来最重要的能力跃升是：逻辑推理reasoning+多模态
* 34:10 一个听众互动（大家可以留言）：如果OpenAI GPT-4o给开发者的API成本大幅下降，成本可忽略，哪些应用能爆发？
* 回顾一下GPT降价幅度，过去一年降低10倍；我好奇OpenAI为什么不更激进降价？摧毁其他人
* AI应用型的人才画像是怎样的？
* 给AI新物种大爆发的时间一个预测？
* 36:33 过去半年美国AI应用生态有多无聊？（沙滩上建房子）
36:58 GPT-5为什么那么慢？
* OpenAI模型能力跃升停滞了吗？为什么GPT-5出来比较慢？
* GPT-5预计什么时候来？GPT-5会长什么样？
* 为什么GPT-4和GPT-5中间插了一个GPT-4o？（为了降成本）
* 硅谷和中国大模型公司牌桌发生了哪些变化？
* 拿到“最后一张船票”的马斯克xAI，有什么差异化？
* 41:47 “OpenAI内部状态就像是从东向西开拓美洲大陆，科学家让火车高速奔跑，infra工程师在火车前面修铁路，铁路铺设和火车齐头并进”
* 过去半年在大模型上，中美差距是拉大了还是缩小了？
45:35 大模型的商业模式和壁垒
* 大模型是好的商业模式吗？壁垒在哪？
* Scaling Law之外，会有不一样的路线走向AGI吗？
* 怎么看通用机器人？怎么看无人驾驶？
* 通用机器人和无人驾驶，哪个来得更快？
* 今天通用机器人的目标还没有定义清晰
55:25 最后，我们点评了硅谷科技巨头这半年的状态
* OpenAI（离职风波对OpenAI有影响吗？）
* 苹果（AI的feature能不能带来换机潮）
* Google（模型上不乐观，流量优势明显）
* 英伟达（从股价角度超出了可分析性）
* Amazon
* Meta
* 微软
* 特斯拉
* 61:43 “创业公司和大公司不是颠覆关系，是依赖关系”
* 63:32 RAG、检索增强是阶段性需求，做得好不好是工程问题
* 64:18 中美创新生态的差异（创新的温室）
* 65:23 2024下半年展望：你会把时间和精力重点分配在哪些问题上？
【全球大模型季报】：
2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观
2024年Q1：和广密聊AGI大基建时代：24 Q1全球大模型前沿手记
播客中提到的文章：
Perplexity CEO：AI 创业公司要先做产品，后做模型
【更多信息】
联络我们：微博@张小珺-Benita
更多信息欢迎关注公众号：张小珺

69. 口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态

今天这集是我和广密【全球大模型季报】第4集。这期2024年Q3季报，提前和大家见面。
我们正进入的9月会是AGI的一个大月，OpenAI造势已久且绝密的项目“草莓（Strawberry）”将在不久后揭开它神秘的面纱。此外，Anthropic也会推出Claude 3.5 Opus，这两个模型将是AGI进程是否顺利的关键风向标。
这些项目很可能暗示了硅谷AGI范式已经静悄悄地发生剧烈转移。
本集节目带来了对AGI发展路径的最大猜想——硅谷AGI范式正在发生转移，self-play RL（强化学习）开启了新赛道。大部分人还没意识到，在纯靠语言模型预训练的Scaling Law这个经典物理规律遇到瓶颈后，多家硅谷明星公司已经把它们的资源重心押宝在一条新路径上：self-play RL（自博弈强化学习）。只不过，这个范式转移还未形成共识。Self-play RL到底是什么？它如何有别于传统路径？它能成为继续Scaling Law的一把神奇钥匙吗？
这集节目是关于self-play RL的一篇高质量科普，也希望为大模型从业者带来方向性的启发。
除了self-play RL，我们着重探讨了硅谷一级市场的明星赛道（Coding、视频生成、通用机器人），以及OpenAI与科技巨头近况。希望我们【全球大模型季报】能帮大家了解最前沿的AGI动态，并且能持续给大家带来启示。
本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。
我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）
坏的推演猜测，GPT-5不乐观；好的推演猜测，RL开启新赛道
* 02:30 语言模型预训练的范式或许遇瓶颈，模型scaling边际效益开始递减
* 05:21 为什么不一定能支持模型在GPT-4o基础上大幅跃升？现在处于“真空死亡地带”？
* 06:43 我最担心的是，纯靠语言模型的经典Scaling Law /Pre train这个物理规律遇到瓶颈，或者在更大参数比如2-3T以上的情况下开始失效了
* 09:37 如果scaling law在模型变大的过程中不work，现在有三条潜在路径：1、多模态尤其是视觉（但还没有证据说能从视觉模态训练涌现智能能力）；
* 2、10万卡集群（但10万卡集群充分互联的难度比预期难，可能是全人类最难的项目之一）；
* 3、强化学习self-play RL（这是范式级别的大转变！）
* 12:53 如果我是AI公司CEO，我会200%资源all in RL这条路
* 13:40 概念解释：Reinforcement Learning，简称RL，中文强化学习（Ilya用一句话概括强化学习：让AI用随机路径去尝试一个新任务，如果效果超出预期，就更新神经网络的权重让AI记得多使用成功的实践，再开始下一次尝试）
* 19:05 代码和数学可以变得很强，能不能泛化到更多领域没有证据
* 22:39你也可以把语言和预训练比作人类基因组，携带着人类几千年进化的基因，强化学习RL就是人类成长的一生
* 24:55 必须很聪明的模型才能有能力做self-play RL的探索
* 27:07 Anthropic Claude 3.5是这一波标志性的产品，他们不搞Sora/搜索，主线是RL；业内少数人意识到RL的重要性是最近两个月
* 28:35 硅谷明星公司现阶段的资源投入？1-2家公司把RL当作最高优先级
* 28:56 2024年9月OpenAI和Anthropic即将要发布的，什么值得期待？
* 29:42 AGI范式大转移之下，还会有GPT-6和GPT-7吗？（可能明年会看到很小的模型比今天GPT-4o要聪明非常多，一个期待是实现AGI不一定需要巨量参数的模型）
* 30:33 新范式的困境和卡点
* 32:52 Character.AI出售给Google预示AGI竞赛上半场结束，下半场开始，创始人Noam从Google进入self-play RL下半场
* 34:36 新范式下，还需要那么多GPU吗？很多人关心英伟达股价
* 37:06 AGI范式转移只在最核心的researcher中有共识，几百人，还没扩散
* 38:55 Claude 3.5 Sonnet显著提升，带动了编程工具Cursor的火爆出圈
* 40:08 OpenAI在造势的草莓、Q*，猜测背后都是强化学习RL
* 41:55 国内公司应该应该all in 200%跟进RL
* 42:44 语言模型和RL是乘级关系
硅谷AI一级市场的四个明星赛道
* 45:12 硅谷的AI赛道：围绕LLM周边有3-4个圈，搜索、代码Coding、视频、机器人
* 1、Coding：在硅谷出现了4-5家独角兽（Devin、Augment 、Magic、Poolside，都已经20-30亿美元估值），最近编程工具Cursor出圈
* 2、 视频：这个赛道诱人，但格局不稳定、决胜窗口长
* 3、通用机器人：想赌具身领域也有个OpenAI，现在是基础科学突破的问题，没看到在机器人领域的“通用泛化能力”出现
* 57:00 美国通用机器人的明星项目（Pi、The Bot是业界公认最头部的项目，除此之外融资金额很大、声量也比较高的是Skild AI、Figure AI）
* 58:31 国内vs硅谷机器人：硅谷投robot foundation model一个大脑，像Andorid；在国内投整机，OV和小米
* 01:01:56 LLM->多模态->具身智能->世界模型，这是AI发展路径
* 01:05:54 LLM vs 移动互联网，叙事逻辑是什么？哪些明线与暗线？
* 01:07:04 有没有可能，今天不做强化学习的公司未来都跑不出来
* 01:08:05 站在现在，重新评论一下中国LLM？“月亮和六便士”
OpenAI和科技巨头
* 01:12:37 OpenAI
* 1、有点浪费技术领先的红利，产品没接住
* 2、联合创始人Greg Brockman、John Schumann离职
* 3、Ilya离开应该是bet on两个路线（多模态/强化学习，大概率是RL）
* 01:17:10 Q*和草莓和RL应该是一件事，草莓是代号，RL是方法
* 01:18:07 回答红杉美国合伙人 David Cahn发布最新文章《AI’s $600B Question》
* 01:20:00 在2024年Q3，AI叙事还有哪些非共识？
* 01:22:45 Character.AI之后，哪些AI公司还会被收购？做个预测
* 01:23:38 2000年互联网hype破灭后只留下Amazon一家公司，今天AI hype如果破灭了，谁是下一个Amazon?
* 01:24:24 AGI第一幕是科技巨头受益，第二幕还没完全展开
【全球大模型季报】系列
2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观
2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能
2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态
【更多信息】
联络我们：微博@张小珺-Benita，小红书@张小珺jùn
更多信息欢迎关注公众号：张小珺

73. AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL｜全球大模型季报4

今天这集是我和广密【全球大模型季报】第5集，是2024年Q4季报，也是我们录制的第二次跨年特辑。
提前和大家见面啦：）
这次你会发现，我们的聊天篇幅开始从大模型技术转向对大模型产品的探讨。很大概率来说，产品会是2025年AI的最大趋势之一。AI产品会如何落地？产品形态又会如何演变？
广密带来了最新猜想。他提出，过去半年他最强烈的认知变化是，不管国外的ChatGPT、Anthropic、xAI、Perplexity，还是国内的豆包、Kimi，甚至是做Coding相关的Cursor、Devin……虽然各个产品的产品形态不一，从不同路径发散，但最后会殊途同归。他们最终很可能收敛到同一个叙事之下，争夺同一片领地。
很开心转眼之间，【全球大模型季报】已经陪伴大家1年，明年仍然希望这个系列能持续地帮大家了解最前沿的AGI动态并带来认知进化。
本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。
我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯。
02:33 Part 1: OpenAI
* ChatGPT本质是奔着“下一个Google”方向去了，如何beat Google是最大的牌
* 一定要逛计算机历史博物馆，理解“计算架构+信息分发”演变的主线逻辑
* Google也是从Yahoo边缘市场撑大做起来，伟大公司是从边缘市场起来
* 小红书非常有意思，融合了搜索+推荐+问答+做任务一体化
* 这些产品最终的最终会变成任务引擎、任务容器，是下一个Google
* 电商过去最核心的是GMV，订单转化率，AI时代我感觉是任务完成率
* Chatbot对话形态大概率不是提取智能最有效的交互方式，模型如何更主动？
* 可能的一个产品形态是个人助理或者超级助理
* Context非常核心，绝大多数人都还没意识到，是一条关键的暗线
* 如果AI的生成能力增强了，未来会生成的是什么？Mobile最大增量是内容，LLM最大增量新型软件
* 既然这些LLM产品想成为Google已经变成了一张明牌，你觉得Google有能力阻止这件事发生吗？
* “下一个Google”的产品，会是一家垄断吗？
* 微软和OpenAI同床异梦，微软可能会投资Anthropic
51:04 Part 2: 硅谷其他AI公司和产品
* Anthropic：得Coding，得开发者，得API消耗，有机会得生态，做OS
* Anthropic比较专注Agent，怎么让Agent更快落地是更高优先级
* Killer App长期要有竞争力，要端到端垂直整合能力，向下优化，优化成本、模型架构、模型大小、调整模型数据分布、甚至向下优化推理芯片
* xAI：还是注定要成功，但是upside还有多少不太确定
* Perplexity：更像是一个信息处理的Agent
* Cursor：Coding产品形态要快速迭代，之前补全下一个代码，Cursor补全下一个Action，明年可能端到端生成软件
* Devin：第一个真正意义上做长距离复杂任务的Agent，明年最具有商业价值的是long horizon Agent（长期规划智能体）
* Mistral：已经不用再关注了，他们内部也正式放弃预训练了
01:02:24 Part 3: 对2025/2026关键预言性判断
* 1/ Long horizon task 是下个重点，重要核心圈子几个大佬级人物都在重点做
* 2/ 产品形态的探索，全新的交互界面
* 3/ AI商业模式的探索，今天商业模式还是移动梦网时代
* 4/ 高质量+scalable的数据，尤其是各个垂直行业里面，有没有几千条甚至上万条，任务+Reward数据，要高水平专家标注
* 5/ GPT-5/4.5 Orion：提升能有多大
* 6/ O1后面天花板走到哪：大规模scale RL/o1之后会怎么样，会不会很快遇到瓶颈
* 7/ 假设Coding能力明年提升10倍，软件开发范式怎么改变
* 8/ Context很重要，大家都还不够重视
* 创业公司没法同时做好这么多，得找锋利的切入点，一根针捅破天
01:11:11 Part 4: 再谈Scaling Law
* Ilya最近提的pretrain data wall（预训练数据壁垒）是什么？
* 后训练中有一个关键问题是奖励模型（reward model），整个地球上没有一个reward model衡量所有人，你相信会未来有吗？
* O1系列天花板会卡在哪？这条路通往AGI吗？
* Scaling Law关键阻碍不是算力，不是算法，是data问题
* ChatGPT有数据飞轮吗？未来会出现吗？哪些产品里有高价值数据？
01:22:19 Part 5: 复盘2024
* 回顾一下，能定义2024年全球大模型产业的关键时刻？
* 全球大模型又狂卷一年，卷出了什么？
* 今天想要进入决赛圈，条件是什么？
* 哪些去年的判断你今天更坚信了，哪些去年的判断你今天认知有改变？
* Mega7巨头里面最看好哪个？
* 硅谷人才在流向哪几家公司？
* 明年如果只投一个方向，投什么？
* 这一轮大的机会，我总结是这3个……
* 2024关键词？2025关键词？
【全球大模型季报】系列
2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观
2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能
2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态
2024年Q3：AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL
【更多信息】
联络我们：微博@张小珺-Benita，小红书@张小珺jùn
更多信息欢迎关注公众号：张小珺

86. 大模型季报年终特辑：和广密预言LLM产品超越Google之路

很多人在催更《全球大模型季报》的2025年第一集，在Q1的最后一天，终于和大家见面了！
这一集广密依然带来了信息满满的有关于全球大模型最新的的前沿认知。经历了最近几个月的全球AI格局巨变，他最大的变化是，重新坚信了Pre-training（预训练）——认为只有Pre-training才能决定模型内在的上限，涌现新能力，而Post-training+RL（后训练+强化学习）是加强。
在这一集季报中，我们对于Q1的全球明星DeepSeek、作为模型“盗火者”的Manus、OpenAI的烟雾弹、硅谷的认知分歧与价值观、未来的范式级新路线，都进行了一一讨论。更重要的是，他更新了在一位AGI原教旨主义者的眼中，AGI的主线、珠峰与路途。
希望《全球大模型季报》能持续陪伴你，2025，我们和AI共同进步！
我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）
04:22 Pre-training叙事卷土重来
今天最大非共识是Pre-training空间还非常大，Pre-training决定了模型内在的上限
还是要再喊一下，大家还是要重视Pre-training了，这个最本质
OpenAI现在不那么重视Pre-training，为什么？OpenAI的Pre-train核心团队一直挺动荡
11:56 Coding是最通用赛博世界的环境，是模型的手
我对两年内实现AGI有前所未有的信心
Coding意义不在于编程本身，而在于Coding是数字经济GDP活动最重要的环境，是最通用的赛博世界的环境
Coding是比搜索引擎和推荐引擎重要的东西
19:55 OpenAI vs Anthropic：战略是不同组织能力的表达
OpenAI和Anthropic同宗同源，最开始路线一样，但走着走着，核心战略bet或路线已经发生了分化
OpenAI是frontier team做出了O系列，frontier team的老大Mark Chen现在成为了仅次于Sam/Greg的三号人物
硅谷的认知分歧？这个问题本质是：智能重要，还是流量重要？
我有点担心OpenAI过早的走向一家消费互联网公司
30:18 一位AGI原教旨主义眼中的AGI roadmap（路线图）
智能提升是唯一主线，智能本身就是最大应用
今天回头看，ChatGPT只是这座高山山脚的第一站，后面还有很多个山头：Coding、Coding Agent、General Agent、AI for Science、Robotics
ChatGPT只是前菜，接下来Agent才是正餐
今天还是围绕智能主线，最重要的是push智能能力往上走，做应用的要构建一个环境或容器，承接研究溢出的智能红利
文生图有可能是OpenAI烟雾弹
今天做Robotics Foundation model/Research的做法不够本质
26/27年可能是AI for Science爆发的时间点
43:00 智能的本质是什么？
这是个极好的问题——大家有想法可以打在评论区：）
人类进化就3个关键词：1. 生存，2. 探索，3. 自动化
智能进步的衡量标志是什么？
一个Chatbot对话可能消耗几千个Token，一个Perplexity搜索大概几十K Token，但一个Manus平均可能要70-80万个Token
48:03 Agent是新物种
“智能水平离AGI越近，可能就越像宇宙大爆炸”
Agent落地最关键的3个能力：1. Long Context reasoning, 2. Tool use, 3. Instruction following指令遵循
AGI接下来的milestone是long-term memory，这个会取代long context
55:49 未来范式级的路线，可能Online Learning是一个
如果说未来还有范式级的路线，可能Online Learning是一个，让模型可以在线自主探索并学习
对GPU或者英伟达叙事影响有多大？
怎么看待贾扬清的公司（Lepton AI）被卖掉？英伟达在下一盘什么大棋？
01:02:45 模型与产品的关系、壁垒和商业模式
今天定价为什么20美元，是copy SaaS的定价吗？但SaaS不会消耗大量token
裸模型发布的时代即将结束？形成壁垒主要是两个：一是成为Cloud，OpenAI自己变成微软的Azure Cloud；二是成为OS，要有生态，后面打造新的Operating System
投资人怎么投AI应用？
模型长期会把产品吃掉吗？本质是，feature system vs Learning system哪个更快
Perplexity/Cursor/Manus都是“模型的盗火者”
01:15:11 全球大模型公司竞争格局和全球AI产品公司
GPT-4.5算不算领先？GPT-5为什么一直在跳票？OpenAI有没有失败的风险？
怎么看待OpenAI支持了Anthropic的MCP协议？OpenAI和微软为什么会有裂痕？分家对微软影响多大？
Manus vs Perplexity，都是执行力很强的团队，被称作“套壳之王”
理想的投资组合：25% Anthropic, 25% Bytedance, 10% OpenAI, 10% Mira Thinking Machine Lab, 5% SSI, 5% Cursor, 5% Manus, 另外15%还没想好
如果DeepSeek融资，我会放基金的25%
01:54:32中美格局：如何跨越地缘封锁
科技投资不是靠“混”能混出结果的，很多VC investor到处混圈子，其实没意义，还是得靠“创造”
【全球大模型季报】系列
2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观
2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能
2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态
2024年Q3：AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL
2024年Q4：大模型季报年终特辑：和广密预言LLM产品超越Google之路
【免责声明】
单纯内容分享，不作为投资建议。
【更多信息】
联络我们：微博@张小珺-Benita，小红书@张小珺
更多信息欢迎关注公众号：张小珺