14.你在用AI还是在烧钱? Impact per Token硅谷温差

14.你在用AI还是在烧钱? Impact per Token

33分钟 ·
播放数51
·
评论数0

本集深度简介

这期我们把token这个被讲烂、却没几个人讲透的概念从头拆到底。Lewis用"模型认知世界的最小切片"给它下定义,复盘了当年Gemini坚持用字符定价、最后被整个行业倒逼着改用token的往事。一次典型的技术导向的胜利。

真正的摩擦从agent时代开始:使用方式从chatbot转向agent,token消耗爆炸式增长,一年预算三四个月就见底。更隐蔽的坑是not every token is created equal。同一段输入在OpenAI、Gemini、Anthropic上切出的token数完全不同,Anthropic往往还多一大截。加上它没什么动力帮你省,连阿里内部都一度停用了Claude。

我们真正想回答的是impact per token。算力买来了,价值链却是断的:为什么该回到revenue、KPI这些最原本的商业指标,而不是像Meta那样拿token用量考核工程师、逼出一堆刷token的假动作。从caching、memory、蒸馏到neuro-symbolic和自我进化的agent,提效的技术路径也一并摊开讲透。最后落到一个更大的判断:scaling law本身可能就有bug,大模型的护城河正在消失,而"法拉利模型"与"本田模型"并存的智能霸权,也许才刚刚开始。

时间线索引

00:00 什么是Token

03:38 agent引爆token经济学

04:34 不是每个token都平等

12:03 咨询公司复兴

15:06 别用间接指标考核

18:29 提高impact的技术清单

30:42 上周趣闻

这期我们讲到的内容

Meta Muse Spark: ai.meta.com 

Scaling law: lilianweng.github.io