训练性能分析的第一步不是打开 profiler,而是先问: 我现在每秒完成了多少“有用的模型计算”?这就是 MFU 的价值。 HFU 则更接近硬件实际执行了多少 FLOPs,它可能包含 activation recompute 等额外工作。 所以同一段训练里,HFU 可以高于 MFU,但 MFU 更适合比较算法和并行配置是否高效。

一个可改的 MFU 计算脚本

def dense_transformer_mfu(
    *,
    params,
    global_batch_size,
    seq_len,
    step_time_s,
    num_gpus,
    peak_tflops_per_gpu,
):
    tokens = global_batch_size * seq_len
    model_flops = 6 * params * tokens
    achieved_tflops = model_flops / step_time_s / 1e12
    peak_tflops = num_gpus * peak_tflops_per_gpu
    return {
        "tokens_per_step": tokens,
        "achieved_tflops": achieved_tflops,
        "mfu": achieved_tflops / peak_tflops,
    }

report = dense_transformer_mfu(
    params=125_000_000,
    global_batch_size=64,
    seq_len=1024,
    step_time_s=0.42,
    num_gpus=2,
    peak_tflops_per_gpu=312,  # 按你的 dtype 和 GPU 峰值填写
)
print(report)

Nsight Systems 能抓到 CUDA kernel、NCCL、CPU runtime,但如果没有 NVTX range, timeline 很容易变成一条密密麻麻的 kernel 河。先给训练循环加上 step、forward、backward、 optimizer、dataloader 标签,再抓 trace,后面阅读会轻松很多。

import torch
from torch.cuda import nvtx

def train_one_step(model, batch, optimizer):
    nvtx.range_push("forward")
    loss = model(batch).loss
    nvtx.range_pop()

    nvtx.range_push("backward")
    loss.backward()
    nvtx.range_pop()

    nvtx.range_push("optimizer")
    optimizer.step()
    optimizer.zero_grad(set_to_none=True)
    nvtx.range_pop()
    return loss

for step, batch in enumerate(loader):
    if step == 10:
        torch.cuda.cudart().cudaProfilerStart()

    nvtx.range_push(f"train_step_{step:04d}")
    loss = train_one_step(model, batch, optimizer)
    nvtx.range_pop()

    if step == 14:
        torch.cuda.cudart().cudaProfilerStop()
        break

Nsight Systems 的 CLI 适合在训练机器上直接采集, 生成 .nsys-rep 后再用 GUI 打开。 Day27 的目标不是学会所有选项,而是能稳定抓到一段带 NVTX 的训练 step, 并用它回答“时间花在哪里”。

单进程最小命令

nsys profile \
  --trace=cuda,nvtx,osrt,cublas,cudnn \
  --sample=none \
  --capture-range=cudaProfilerApi \
  --capture-range-end=stop \
  --force-overwrite=true \
  --output=trace_step \
  python train.py

torchrun 多卡命令

nsys profile \
  --trace=cuda,nvtx,osrt,cublas,cudnn,nccl \
  --sample=none \
  --capture-range=cudaProfilerApi \
  --capture-range-end=stop \
  --force-overwrite=true \
  --output=trace_rank%q{RANK} \
  torchrun --nproc_per_node=8 train.py

先用 stats 做文本摘要

# 查看当前 nsys 支持哪些 report 名称
nsys stats --help-reports

# 常用摘要:GPU kernel、CUDA API、内存拷贝、NVTX range
nsys stats \
  --report cuda_gpu_kern_sum,cuda_api_sum,cuda_gpu_mem_time_sum,nvtx_sum \
  trace_step.nsys-rep

打开 trace 后,先不要盯着某个 kernel 名字。 从 step 的宏观节奏看:GPU rows 有没有长空白?NCCL 是否和 backward 重叠? GEMM/attention kernel 是否连续?CPU 是否频繁阻塞在同步 API? 这些形态比单个数字更能说明瓶颈。

报告模板

experiment: gpt-125m-baseline
hardware: 2x A100-80GB, nvlink, bf16 peak=312 TFLOPS/GPU
config: layers=12, hidden=768, heads=12, seq=1024, global_batch=64
parallel: dp=2, tp=1, pp=1, activation_checkpoint=off

throughput:
  step_time_median: 0.420 s
  tokens_per_step: 65536
  tokens_per_second: 156038
  estimated_mfu: 18.8%

nsys:
  captured_steps: 10-14
  top_kernel: ampere_bf16_s16816gemm...
  top_collective: ncclKernel_AllReduce_RING_LL
  visible_bubble: 6.4 ms / step
  suspected_bottleneck: host dataloader gap before forward

next_action:
  add NVTX around dataloader prefetch
  increase num_workers / persistent_workers
  rerun same 5-step capture

1. MFU 和 HFU 的分子分别是什么?为什么 activation recompute 会影响二者关系?
2. 计算 MFU 时,为什么必须写清 GPU 型号、dtype 峰值和是否使用稀疏峰值?
3. 为什么 nsys trace 应该跳过 warmup,并且只抓少量 step?
4. 在 timeline 里,如何区分暴露通信和已经与 backward 重叠的通信?
5. 看到 GPU 中间有一段空白,你会按什么顺序排查 dataloader、CPU sync、pipeline bubble 和 NCCL?