第一周的目标是把"GPU 编程"这个黑盒打开。 从硬件抽象到 CUDA 编程模型,再到性能分析工具——所有内容串成一句话: "GPU 是一台靠延迟隐藏吃饭的并行机器,你的代码必须配合它的访存层次,profiling 是唯一可靠的反馈回路。"

三条贯穿主线

仍然没解决的问题(本周末诚实清单)

多 GPU 训练首先要回答的问题:这两张卡之间数据怎么走? 一个 H100 集群里,数据可能经过四种通路: HBM 内访问 → NVLink → PCIe → InfiniBand 网络。 带宽相差三个数量级,选错通路 = 训练慢 10×。

三种典型节点拓扑

互连只是物理通路,要把多 GPU 真正用起来,还需要两层软件—— RDMA 把跨节点通信做到接近线速, NCCL 在 RDMA/NVLink 之上提供 PyTorch/Megatron 直接用的集合通信原语。

RDMA 的三个关键设计

InfiniBand 与 RoCE 之争

NCCL — 跨 GPU 的集合通信

NCCL 把"多个 GPU 之间交换数据"封装成 6 个原语,自动选择最优路径(NVLink / PCIe / IB)和算法(Ring / Tree)。 PyTorch 的 torch.distributed 后端默认就是 NCCL。

Ring vs Tree AllReduce 直觉图

训练系统的存储几乎总是分三层:远端对象存储放原始数据集和模型 archive, 分布式文件系统/缓存做高吞吐读取, 本地 NVMe做活动 checkpoint 和热数据缓存。 这三层的边界决定了"数据 pipeline 卡不卡"。

光看图不够。今天的实操是在自己的机器(或一台租来的 GPU 实例)上把拓扑、带宽、存储路径全部摸一遍, 把抽象概念落到具体数字。无 GPU 也可以在 colab / RunPod 上做。

① 看 GPU 互连拓扑

# 打印节点内 GPU 之间的连接方式
nvidia-smi topo -m

# 典型输出含义:
#  NV# = NVLink + 后面数字表示链路数(NV12 = 12 条链路)
#  PIX = 经过单个 PCIe Switch
#  PXB = 经过多个 PCIe Switch
#  PHB = 经过 CPU 的 PCIe Host Bridge
#  SYS = 跨 NUMA / 跨 CPU 的最差路径

# 查看 NVLink 实际链路状态和带宽
nvidia-smi nvlink --status
nvidia-smi nvlink --capabilities

② 测节点内 GPU↔GPU 带宽

# cuda-samples 里的 bandwidthTest / p2pBandwidthLatencyTest
git clone https://github.com/NVIDIA/cuda-samples
cd cuda-samples/Samples/5_Domain_Specific/p2pBandwidthLatencyTest
make && ./p2pBandwidthLatencyTest

# 输出是一张 N×N 矩阵,主对角线是显存内带宽,
# 其它是 GPU↔GPU peer 带宽 — 用来验证 NVLink 是否生效

③ 测跨节点 RDMA(若有 IB 网卡)

# 服务端
ib_send_bw -d mlx5_0

# 客户端(另一台机器)
ib_send_bw -d mlx5_0 192.168.1.10

# 输出 BW 列就是 RDMA send 实测带宽 (MB/s)
# 接近网卡线速(如 NDR 50 GB/s)= 配置正确
# 若远低于线速,通常是 PFC/ECN 没配 或 走了错的 RoCE 优先级

④ 跑 NCCL 自带的 AllReduce 基准

# 安装 nccl-tests
git clone https://github.com/NVIDIA/nccl-tests
cd nccl-tests && make MPI=1

# 单机多卡 AllReduce 测试 (例:8 卡)
./build/all_reduce_perf -b 8M -e 4G -f 2 -g 8

# 关键看 "busbw" 列(busbandwidth),逼近 NVLink 物理带宽即正常
# 同时打开 NCCL_DEBUG=INFO 看 NCCL 选了什么算法/协议
NCCL_DEBUG=INFO ./build/all_reduce_perf -b 8M -e 4G -f 2 -g 8

⑤ 摸一下存储吞吐

# 本地 NVMe 写带宽(避免缓存影响)
dd if=/dev/zero of=/scratch/test.bin bs=1M count=4096 oflag=direct

# 远端对象存储拉取速度(以 s5cmd 为例)
s5cmd cp s3://bucket/dataset.tar /scratch/

# 训练读取模式更真实的 benchmark
fio --name=randread --rw=randread --bs=4k --size=2G \
    --numjobs=8 --direct=1 --filename=/scratch/test.bin

1. 用一张图把 Day 01–06 的关键概念串联起来(可以借鉴本日 mindmap),每个 Day 用一句话总结它的"唯一关键 takeaway"。
2. 画出从一张图片(在远端 S3)被读取、解码、送进 GPU forward 的完整数据路径,标注每一段的带宽数量级和潜在瓶颈。
3. 解释为什么 Tensor Parallel 不能跨节点,而 Pipeline Parallel 可以——用今天学的 NVLink/IB 带宽差距来论证。
4. 跑一次 nvidia-smi topo -m,把你机器的拓扑画成图,标注每条链路的类型(NV# / PIX / SYS)。如果是云实例,记录该规格的官方拓扑文档链接。
5. 写出"你机器/集群的带宽阶梯"——HBM、节点内 GPU↔GPU、跨节点、对象存储——的实测值或文档值,跟今天的标准表对比。