https://blog.ans20xx.com/tags/mfu/Recent content in MFU on 安橙的博客Hugo -- 0.163.3zhSat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day27/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day27/学习训练性能分析的最小闭环:计算 MFU / HFU,用 Nsight Systems 抓一段训练 step,通过 NVTX、CUDA kernel、NCCL timeline 识别 compute、communication 与 pipeline bubble。https://blog.ans20xx.com/posts/ai/day28/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day28/阶段 2 收官:复盘分布式训练 Infra 的 NCCL、DDP、ZeRO、TP、PP、SP/CP、DeepSpeed、checkpoint、data pipeline、算子加速与 profiling;在 2 卡或云上 8 卡训练一个约 125M GPT,记录 MFU,并完成 ZeRO-3 vs TP+PP 的硬件取舍笔记。