113: 秘塔闵可锐1:回到故事开始,那些「神预言」

113: 秘塔闵可锐1:回到故事开始,那些「神预言」

116分钟 ·
播放数13235
·
评论数60

「我现在有一个判断,很多人会认为是胡说八道:在这一轮大模型热潮里,中国投资人很可能会集体 miss。」

今天,《晚点聊》一次发了两期节目,嘉宾都是秘塔创始人,闵可锐。一次访谈发生在 2023 年年初,另一次是在最近。本期,是 2023 年 3 月中旬的那一次访谈。

那是中国大模型热潮的开端,王慧文刚自己投资 5000 万美元,成立光年之外,月之暗面还在组建,六小龙的名号还没有兴起,DeepSeek 还没有正式成立,字节等大公司也没有充分展现对 AI 的志在必得和激进投入。

秘塔当时已是一家成立近 5 年的公司,推出了法律翻译、秘塔写字猫等多款 AI 应用。现在更为人熟知的秘塔搜索则还没有上线。

回顾这次发生在热潮开端的讨论,恍若隔世,也有很多先见之明。那时可锐就有一些犀利的观察和观点,包括:

  • 中国 VC 可能会集体 miss 掉一位最有雄心的中国大模型创业者。
  • 在大模型领域,传统的组织人才方式不work。
  • 真正的天才想法很难被媒体和大众所认知。
  • 预训练很重要,是范式转变,具体到Transformer架构,其实没那么重要。
  • (2023 年上半年)未来半年各大厂商将密集发模型,但热潮不可持续,拿不到正反馈的团队将很快退场,速生速死。
  • AI 产品领域的创业是战国时代,不论个人开发者和大厂之间,还是大厂和大厂之间,进入到一个所有人在PK所有人的状态。
  • 研发投入 95% 是浪费,而且你不知道哪 95% 是浪费的。一流 researcher 能节约 80% 的成本,但大部分组织没能力知道谁是一流的 researcher。

在秘塔刚成立的 2018 年,闵可锐就写过一篇文章,叫《关于机器学习的前尘往事》(见 shownotes “相关链接”部分),这篇文章已经提到了当时 Anthropic 创始人,Dario 在百度工作期间,发现的 Scaling Laws 的雏形。这篇文章开头,是模仿《百年孤独》经典开篇的一个 AI 小故事。其中提到了 108 期节目中,马毅老师也聊到的 50 年代 AI 热潮中的“感知机”。

闵可锐是马老师在伊利诺伊大学任职时的博士研究生,后肄业创业。此前他获得了复旦计算机学士学位,和牛津大学数学硕士学位。

这期节目,我们完整聊了可锐的职业经历、秘塔创业故事、他在 2023 年年初对大模型格局的思考。而今天发的另一期节目,是最近秘塔发布新产品“今天学点啥”之后的访谈,我们从这个产品切入,聊了这两年的变化。

本期嘉宾:
闵可锐,秘塔科技创始人,@「AI秘塔」公众号 ID:METASOTA2018

时间线跳转:
00:05 开场介绍

-预训练的想法很重要,而非具体架构
02:20 秘塔的重心在应用;竞赛→复旦→牛津→伊利诺伊→第一次创业→猎豹→创立秘塔的简要回顾
05:48 2017 年前后的真正技术转折是:预训练想法的出现
12:36 2018 年,预训练到来后的创业选择:在特定领域做出价值→法律翻译
12:14 OpenAI 难以效法;ChatGPT 之前,行业没有技术秘密
14:41 GPT-3 刚出来时,参数规模大到短期内难以应用;没必要神话某一个架构
22:14 一些 idea 的引用次数很高,但不是真正天才的想法
25:25 Ilya 的成就:不是视觉背景的人做出了 NLP 突破,而是深度学习的不同领域在合流,AI 本身的泛化性在提升

- 创业两条路:大故事、很多钱 vs 服务好能服务的用户
27:17 Jasper 的贡献:找到一个机器贵、但人更贵的切入口
30:58 从法律翻译到秘塔写作猫,垂直领域到更泛 C 的转变如何发生
36:16 AI to C、to B,商业模式切身体验
40:42 “创业公司的差异化是什么?”——要“做着瞧”
45:56 AI 应用是战国时代,是所有人和所有人的 PK
47:43 AI Native 应用的突破很可能在交互上
52:16 秘塔也在自己训练模型,应用为重心的情况下,怎么做模型?
01:01:28 开源模型的影响

- “坦白来讲,大模型热潮也不是什么好事”
01:08:02 AI 热潮对秘塔发展节奏的影响
01:11:15 中国投资机构会集体 miss 模型层投资;开源是另一股力量
01:16:13 中国有雄心更大的人,但还没有进入人们的视野
01:19:14 这次热潮对比 2016 年 AlphaGo 之后的 AI 热,有何不同?
01:24:11 秘塔当时的新融资推进:战投比较积极,财投很谨慎
01:27:19 两种 AI 研究机构:手作坊 vs 工业化
01:33:24 95% 的研发投入是浪费的,而且不知道浪费在哪儿;OpenAI 的成功经验是找到会花钱的少数研究者,让他们花很多钱
01:37:14 短期 vs 长期,当前应用 vs 追求 AGI——“你以为的平衡,实际上是平衡不了”
01:44:13 AI 热潮给算力成本带来的变化
01:51:27 市场存在大的资源错配

相关链接:
关于机器学习的前尘往事(闵可锐)
晚点聊110:与明势夏令聊Agent竞争:通用入口之战就要来,创业要做垂、做专
晚点聊107:与真格戴雨森长聊 Agent:各行业都会遭遇“李世石时刻”,Attention is not all you need

附录

  • BERT(Bidirectional Encoder Representations from Transformers):Google 于 2018 年提出的一种预训练语言模型,首次引入双向 Transformer 编码器来理解上下文,显著提升了多个自然语言处理(NLP)任务的表现。

  • T5(Text-to-Text Transfer Transformer):Google Research 2019 年提出,它将所有 NLP 任务统一建模为文本到文本的转换问题。

  • Vision Transformer (ViT):Google Research 2020 年提出,它是首个成功将纯Transformer 架构应用于图像分类任务的模型,将图像分割为小块并视为序列输入 Transformer。

剪辑制作:甜食

本期主播:小红书 @曼祺_火柴Q,即刻 @曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。
这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章:

展开Show Notes
置顶
今天一次发了两期节目,另一期:114: 秘塔闵可锐2:“我不是演员”

本期是 2023 年 3 月中旬的访谈,那是本轮大模型热潮的开端。
这次回顾时我发现闵可锐当时就有一些“神预言”。

比如他说:中国VC会集体错失本轮大模型投资。
我问他是中国不会出现这样的公司,还是没有进入人们视野?
他说新的公司和人不会以传统方式被验证,更有雄心的人大家关注不到。
我又问他看到的迹象是什么,他说“开源是另一股力量”。

回到两年前故事的开始,一个 AI 公司 CEO 想了什么,确定什么,又怀疑什么,是过去 30 个月快速变化的一个注脚。
Flipped_Cat
Flipped_Cat
2025.5.06
1:12:16 天呐,这里的预测完美match了deepseek,鸡皮疙瘩一身
曼祺_MatchQ
:
甚至那时 DeepSeek 还没正式从幻方独立(正式成立是当年7月)。我们这属于“虚空讨论”😄
曼祺语速过快了,和嘉宾语速有明显不同,后期也许可以适当调整一下。
米小珈:有种开了二倍速的感觉
曼祺_MatchQ
:
不是指开头,是指中间也太快了?(我再听下 谢谢反馈😊
8条回复
QuQyk
QuQyk
2025.5.07
1:29:46 好理性,好敏锐啊。尤其对高校作坊模式的运行。
QuQyk:我觉得对高校模式洞察的很准。
CorySun
CorySun
2025.5.06
是我的错觉吗?为啥感觉语速好快啊,听起来怪怪的
曼祺_MatchQ
:
1:12:19 这个并没有加速。可能是因为这次是手机录的,当时没有想要发播客。聊天状态更接近自然说话,语速会更快一些。正式录播客,会慢一些。
于景瑞:0.8倍速正好
晚点聊时间胶囊系列
曼祺_MatchQ
:
😄 这个系列不错
香放
香放
2025.5.06
秘塔有一点好,就是它会把完全不成熟的产品拿出来收费
——作为用户早期给秘塔写作猫充值之后的感受。
Kanon可农:秘塔团队给我的感觉是,经常会拿出很好玩的产品,但是细节都不太经得起推敲。秘塔搜和今天学点啥都给我这种感觉。
曼祺_MatchQ
:
这为什么是好?(btw我也是秘塔写作猫尊贵付费用户,校对的提醒交互和事实核查功能很好😄 一个问题时,它改错特别谨慎,很多它提示有问题的都不是错误。但我更怕校对时看漏了
1:08:31 内容很好,但是声音太快听不清,慢速断断续续的,真的很影响听感。需要文字稿
曼祺_MatchQ
:
对 这期音质捉急。因为这个采访比较早,当时很多内容是直接用手机录的。另一期 114,声音就好多了
子春之酒
子春之酒
2025.5.07
用了一下“今天学点啥”,提个小问题,初学者不是小朋友啊,这个能不能分开?
白七七
白七七
2025.5.21
嘉宾务实且理性,对很多问题的思考都很深刻,特别是后半部分讲到专注把一件事做好,深有感触。从分享中感到嘉宾是一个很有主体性,同时适应性又很强的人。这就去听第二期内容❤️
sluwhisper
sluwhisper
2025.5.10
很有意思的点是,在23年那个全民fomo的时刻,难得的冷静客观的声音,直到现在才被放出来
AI瑞哥那
AI瑞哥那
2025.5.07
天呢 重回2023 但依然很有价值的一期
27:52 主播的这个语速语调怎么这么AI感,这是一期用AI做的访谈吗?耳朵体验好难受
很好的内容,大家反应语速快,我觉得不是快,而是每个字都太短促太顿了,不是正常交流能听清楚的感觉
曼祺_MatchQ
:
对 降噪狠了会这样。这期确实当时不是为了播客,比较早了。用手机录的。我冷平时音质是正常的
相见不见
相见不见
2025.5.12
这个音频有语速过快,声音时大时小的问题
相见不见:质量明显不如近期录的
曼祺_MatchQ
:
确实 最近两年换了更好的设备。但总体我们录音还应该提升。
IMBFD
IMBFD
2025.5.10
这期录音是不是有问题?总是断断续续
曼祺_MatchQ
:
是的🙂‍↕️
于景瑞
于景瑞
2025.5.06
这个CEO满嘴“工程师随便改改”,感觉好大牌啊
子春之酒
子春之酒
2025.5.07
1:35:14 这里我听懂了,科研界大量的钱都花在特别权威的人手上,而这些人可能都是功成名就的大佬,他们聚焦的可能也不在做事上,这个确实是一个普遍现象。
HD40358x
HD40358x
2天前
这么多人吐槽语速快,我提个反调,就喜欢这种敏捷的,不拖泥带水的表达😊,嘉宾很有洞见,现在回过头来看预测真够准的,respect!
MasonMei
MasonMei
8天前
同意,5 年预测的前提是这个业务后续发展是线性的