174.推理消耗可达训练 12 倍：DeepSeek 的推理经济学

本期要点

· YC 用 DeepSeek 的公开数据算了一笔账：同一个权重文件，一年的推理算力大约是训练的 6 倍；若按权重有效寿命两年计，推理的重要性就是训练的 12 倍。

· DeepSeek 每个 GPU 小时收入约 38 美元，外界推算其推理毛利率超过 80%——这个数字不是靠涨价，是靠把单位成本压下去。

· 一次推理请求要经过路由、分词、调度、预填充、解码五个环节。预填充每 GPU 每秒可出 150 万 token，解码只有 1.4 万，相差两个数量级，解码才是真正的成本瓶颈。

· 最容易被低估的护城河是缓存：PB 级用户数据保留 72 小时，换来 96% 的输入缓存命中率。这笔账是用存储开支换计算开支。

· Ollama 创始人给出的判断更扎心：同一份开源权重，最差服务商与最好服务商之间的差距，比开源模型与闭源模型之间的差距还大。