节目简介
用"城市交通系统"类比,讲透 AI 服务器内部的数据通路。为什么同样 8 卡机器,价格和效果差很多?答案往往不在卡本身,而在拓扑和互联。
本期要点
🏙️ 城市交通类比贯穿全集:CPU = 交通指挥中心,PCIe = 城市主干道,GPU = 大型工厂,NVLink = 工厂间专用高铁,NUMA = 东西城区划分
🧠 CPU 的真正角色:不是算大头,而是"组织算"——调度、预处理、数据加载、分发任务给 GPU
🛣️ PCIe 详解:x16 = 16 车道,代际(4.0 vs 5.0)和拓扑(卡挂在哪个 CPU 下)显著影响性能
🗺️ NUMA 详解:双路服务器的"地理位置问题",跨 CPU 访问会变慢,没调好导致某些卡表现差
⚡ NVLink 和 NVSwitch:GPU 之间的专用高速通道,训练刚需,推理不太需要
🔗 完整数据通路:存储 → CPU → 内存 → PCIe → GPU → NVLink → GPU,任何环节堵了都拖慢整体
💼 对做生意的意义:同样 8 卡报价差很多,差的往往不是卡,而是拓扑和配置
推荐收听场景 想深入理解服务器内部架构的听众
