OpenAI Astra循环深度架构:大模型第三条Scaling法则​ | OpenAI Astra

OpenAI Astra循环深度架构:大模型第三条Scaling法则​ | OpenAI Astra

17分钟 ·
播放数346
·
评论数0

本期深度拆解OpenAI下一代旗舰模型Astra被曝采用的"循环深度"新架构——这项技术通过让同一组Transformer层在潜在空间中多次迭代,实现参数与计算深度的解耦,35亿参数模型可等效调用500亿算力。结合清华字节最新SMELT论文的Scaling Law验证,详解其技术原理、效率优势与商业影响。同时深入探讨该技术带来的AI可观测性危机:当模型思考从Token空间转向内部黑盒,CoT监控窗口持续收窄,人类将如何面对不可读的推理过程?

原视频来自:youtu.be

聊天讨论群,可加微信gxjdian入群,需备注,来自播客AI前沿