64. 和广密聊AGI大基建时代:24 Q1全球大模型前沿手记张小珺Jùn|商业访谈录

64. 和广密聊AGI大基建时代:24 Q1全球大模型前沿手记

82分钟 ·
播放数13285
·
评论数64

3月,我们连续从多个角度关注了中国AGI进展,这集让我们把目光投向海外,对刚过去的 2024 Q1全球大模型的赛局做一个场上的复盘和点评。嘉宾是《商业访谈录》的老朋友、拾象CEO广密。

他提出,我们正处于一场宏大的“AGI大基建”时期。正如上世时期纪90 年代克林顿推出美国信息高速公路建设,这才有了后面的美国互联网泡沫破裂和互联网黄金20年——如果没有基建,就不可能有应用大爆发。

我们的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:)

(01:45) - 盘点2024 Q1

(03:40) - 开源 & 闭源

(06:32) - AGI 是马拉松

(06:45) - 物理硬件成阻碍AGI最大因素

(08:05) - 失败案例Inflection

(08:41) - 黄仁勋的主权 AI、T5T、不鼓励996

(10:34) – 渐进式解锁

(12:29) - 改变软件生产方式+信息检索的变革

(16:50) - 能源 + 芯片=产出智能

(19:46) - 南坡是模型,北坡是产品

(23:41) - 突然给经济社会加了两道税

(25:30) - AGI大基建:造价与玩家

(26:34) - 训练GPT-3.5和GPT-4,消耗多少算力和能源?

(39:37) - 电+芯片=产出智能

(40:38) - Scaling Law

(47:26) - AGI登山路线图和路标

(57:40) - OpenAI

(01:04:02) – 集团军作战,如何结盟?

(01:05:12) – Apple、英伟达、阿里

(01:07:20) – Killer App、硅谷投资三大件

(01:09:25) – 自动驾驶和机器人

(01:15:47) – 我们作为碳基智能,为什么在追求硅基智能上这么热衷?

(01:17:00) – Sam、黄仁勋、马斯克

广密的上一集:《54. 口述全球大模型这一年:人类千亿科学豪赌与参差的中美景观》

【更多信息】

本集文字版本:腾讯新闻原文 & 作者的收藏夹

联络我们:微博@张小珺-Benita,小红书@张小珺jùn

更多信息欢迎关注公众号:张小珺

展开Show Notes
pleasego
pleasego
2024.4.17
一如既往的高质量,小珺聊大模型 AI AGI这些节目完全可以算作华语世界科技商业领域最优质的内容输出了
绝望的生鱼片0_0:已经反复二刷
庄明浩
庄明浩
2024.4.17
Guangmi提供了基本上完整的海外AI大模型的竞争和数据视角
晨萱I语迟者说:但是关于开源 vs.闭源,他说反了吧?海外主流思想是开源追不上闭源。按照过去经验开源参与人数多,技术提升会更快。但大模型的范式不同,它本质上依赖算力,如你最近一期播客所言,目前价值还是由大模型提供,而不是靠应用层。开源的大量开发人员只能臆想技术提升,根本没机会验证与迭代,只有算力集中的大厂能做,自己做自己的闭源,自己优化,这也是月之暗面的观点
晨萱I语迟者说:其实早前这一期,嘉宾的观点也是开源永远追不上闭源 https://www.xiaoyuzhoufm.com/episode/65910adb991e2ee60880f151
JASting
JASting
2024.4.17
45:06 训练量=参数量*训练token量*6。 GPT4为例,1.8万亿参数,13万亿token,6倍=2.5万GPU,19.5万亿次计算,叠加50%利用率。
元大都的海棠花:最近力量训练,看到你这个评论我差异了很久哈哈。话说换头像了耶
Guangmi
Guangmi
2024.4.17
对AGI最重要的问题是啥?今天最大非共识是啥?
JASting:48:15 请问这两个公司是什么,可以麻烦敲个字出来嘛
HedgeSage:Elevenlabs是做文生音的, 就是自然语音合成。 Suno是AI音乐创作, 前几天刷屏的让我们荡起双桨, 就是利用这个平台作的。
听书读书
听书读书
2024.4.19
这期会发到公众号上吗
张小珺
:
已经发啦
Joes东
Joes东
2024.5.30
强烈建议这哥们再来一期 多模态 agent 已经被他开盒了
听到翻笔记和类似划重点的声音
波子快跑:哈哈哈是的
HedgeSage
HedgeSage
2024.4.17
AGI投研第一人!
JASting
JASting
2024.4.17
25:32 目前是AGI大基建时期,目前关键瓶颈是“算力和数据中心建设”。就是即使有万张卡也不能快速用起来,万卡集群的互联通信能力、稳定性、能耗、数据中心的降温要求都达不到。比特驱动的数字世界迭代快,原子驱动的物理世界迭代跟不上。好在都是工程问题,不是科研问题,都可以解决。
香放
香放
2024.5.08
好节目。
阳_bAD8
阳_bAD8
2024.5.02
非常好奇广密是如何获取这些资讯的
idlh
idlh
2024.4.30
1:10:08 马上就来中国,fsd入华了
Ian言
Ian言
2024.4.19
Scaling law已经被证明了吗?为什么小参数模型也能比大参数展现出更好的能力?如果Scaling Law不成立,是不是GPU也就没有相应规模的市场?
晨萱I语迟者说:这个更好的结论是怎样得来的呢? 国内网上能看到的信息百分百是PR或者外行推断,很少有精确信息。再有中国擅长出小镇做题家。以做题的思路来测试很容易在专项上腰要领先。但没用,实际还是赶不上
LiveLiveLive
LiveLiveLive
2024.4.17
专注海外一线的AI最新、最有价值的信息收集和整理,都用大模型摘要总结和翻译好了,实时更新,推荐大家用GrowMinds这个晓橙旭,学习和follow都很省时省力
Julia_Scott
Julia_Scott
2024.4.17
1:15:01 “先去大模型,再去机器人”😏
JASting
JASting
2024.4.17
07:01 今年Q1新learnings: 物理硬件成为阻碍AGI时间表最大因素:1️⃣GPU的数据中心和物理硬件瓶颈大(不是单靠无限加GPU和数据就能到AGI);2️⃣能源基建老旧、能源结构与激增用电量的匹配度弱。因此,AGI是马拉松不是冲刺赛,大家还有充足时间;
围吉桐桐
围吉桐桐
2024.4.18
李广密有x号么
Effyuzuru
Effyuzuru
8天前
好像没看到人问片尾曲
Twl_dupg
Twl_dupg
2024.5.29
39:30 此处想到限电及气候变化
王怿劼
王怿劼
2024.5.21
耗电计算那段中是不是隐含了50%的算力利用率?单张H100的功率是700w。