https://blog.ans20xx.com/tags/tensor-parallel/Recent content in Tensor Parallel on 安橙的博客Hugo -- 0.163.3zhSat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day19/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day19/深入 Megatron-LM Tensor Parallel:理解列并行与行并行 Linear 的矩阵切分、通信边界、MLP 和 Attention 的 TP 布局;手画 Transformer block 的张量切分图,看懂 tensor_model_parallel_size 如何影响显存、计算与通信。https://blog.ans20xx.com/posts/ai/day22/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day22/把 Day19-21 的 TP、PP、DP、SP/CP 组合起来,在单机多卡上用 Megatron-LM 跑一个小 GPT,并通过调整 tensor-model-parallel-size 与 pipeline-model-parallel-size 理解并行维度的取舍。