EP03a | CPU、PCIe、NUMA、NVLink:服务器里的数据高速公路

EP03a | CPU、PCIe、NUMA、NVLink:服务器里的数据高速公路

18分钟 ·
播放数17
·
评论数0

节目简介
用"城市交通系统"类比,讲透 AI 服务器内部的数据通路。为什么同样 8 卡机器,价格和效果差很多?答案往往不在卡本身,而在拓扑和互联。

本期要点

  • 🏙️ 城市交通类比贯穿全集:CPU = 交通指挥中心,PCIe = 城市主干道,GPU = 大型工厂,NVLink = 工厂间专用高铁,NUMA = 东西城区划分

  • 🧠 CPU 的真正角色:不是算大头,而是"组织算"——调度、预处理、数据加载、分发任务给 GPU

  • 🛣️ PCIe 详解:x16 = 16 车道,代际(4.0 vs 5.0)和拓扑(卡挂在哪个 CPU 下)显著影响性能

  • 🗺️ NUMA 详解:双路服务器的"地理位置问题",跨 CPU 访问会变慢,没调好导致某些卡表现差

  • ⚡ NVLink 和 NVSwitch:GPU 之间的专用高速通道,训练刚需,推理不太需要

  • 🔗 完整数据通路:存储 → CPU → 内存 → PCIe → GPU → NVLink → GPU,任何环节堵了都拖慢整体

  • 💼 对做生意的意义:同样 8 卡报价差很多,差的往往不是卡,而是拓扑和配置

推荐收听场景 想深入理解服务器内部架构的听众