23
0那么最近呢
其实我们先从一个
很炸裂的这个新闻开始聊
就是大家都在关心
今年应该早就发布的这个GPT5
但是最近呢
有一些这个传闻
也有一些预测
这个
请朱雷老师给我们做一些解读和分析
对就是
大家可能也能看得到
就是你像GPT-4应该是2023年的这个
4月份它发布的
然后到现在为止
OpenAI还是没有发布GPT-5的这个
代际的这个模型
然后中间发布了几个中间的版本
比如说像GPT-4 Turbo
GPT-4o包括GPT-4o Mini
都是在GPT-4系列下的一些分支的
一个GPT-4的模型
GPT-5迟迟没有来
然后可能有几个原因
今天大家讨论比较多
就是从目前硅谷那边的一些消息来看
有很大程度上的一个可能性是
目前的这个规模的一个定律
就是Scaling Law这个模式
实际上OpenAI内部的预期
没有达到相对比较高的一个水准
也有人说Scaling Law
这个已经进入一个边际收益递减的
这个就是也还在增长
但是增速慢
对对对
因为它里面会有几个约束条件
一个就是算力的一个问题
因为现在普遍来讲
实现到万卡的这个集群
其实有一些大厂是可以实现的
但是在往上就是受到很大的一个制约
你像最近那个马斯克Grok
他在搭建10万卡的一个集群
对要号称要在Grok 3要超过这个GPT
对对对 4还是5
对但是目前这个
已经是全球的一个顶级的
一个算力集群了
对对
所以说算力它是属于比如说制约OpenAI
或者是国内外的一些
大部分大厂的一个主要的一个因素
然后另外一种是目前的这个大模型
有两种模式
一种是dense model
就是稠密模型
一种是MoE的一个模型
对但是
你要训练一个moe的
一个万亿参数的一个模型
其实难度还是很大的
对对
所以说从这个模型架构层面上
和从算力层面上
包括这个数据层面上
其实都会制约目前的这个
Scaling Law的
一个是达到了一个目前的一个瓶颈
嗯对
所以目前从OpenAI内部的这个消息来看
最近大家讨论比较多的
是草莓的那个模型嘛对
然后号称原来是q*star是吧
啊对对对
它实际上它是那个模型的一个类似
一个升级版
对一开始叫Q
然后现在大家都叫草莓
包括OpenAI他们也是在这个
包括Sam Altman
他也预热了很久啊这个事情
然后从目前的这个消息来看
草莓的这个模型应该会在9月份发布
就是可能两周之内就会就会发布
对然后
现在大部分的
这个草莓的一些信息来看
他第一个
他是在代码数学和推理的
这个能力上是非常强的
啊是
会比之前的GPT-4o的这个水平要高一些
对然后另外一点非常重要一点
就是说它会
会有Agent的这个
这个思考的一个过程
普遍来讲
比如说你问一个query
问一个问题
它会思考10到20秒
它会有一个自己的
一个思考的一个过程
然后让他的这个幻觉减少
让他准确率提升
包括他的推理能力提升
这个可能是草莓模型
一个最大的一个特点
听说他的这个推理能力很惊艳
就是内部像这个Ilya
这个之前已经离开OpenAI的
这些科学家们
看到了以后
都是觉得这个有一个长足的进展
包括Sam Altman他们也说了
说我们下一代模型
是有一个压倒性的优势哈哈
啊对
这个
他们内部的这个信心还是很足
然后因为目前来看
从全球的视角上
两个模型应该是最强的
一个就是OpenAI的一个GPT系列
一个是Claude 3.5的
目前它已经发布了3.5的那个Sonnet
嗯对
但是它的Opus还没有发
就最强那个版本还没有发
然后Claude 3.5的那个Opus
它最强的也就是推理
它最重要的就是推理和代码
它对于OpenAI来讲也是一样的
它的那个草莓的这个模型
最主要的还是推理
尤其是一些多步的高难度的推理
包括一些执行具体的这个Agent任务的
一个推理的能力
这个
确实是他们目前重点的一个优化方向
