https://blog.ans20xx.com/tags/zero/Recent content in ZeRO on 安橙的博客Hugo -- 0.163.3zhSat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day18/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day18/理解 ZeRO-1/2/3 分别切分 optimizer state、gradient 和 parameter 的方式，读 ZeRO 论文主线，并用 DeepSpeed 配置把 DDP 的复制显存一步步拆掉。https://blog.ans20xx.com/posts/ai/day23/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day23/实战 DeepSpeed ZeRO-3 + Offload:理解参数、梯度、优化器状态如何分片与换入换出,拆解 ds_config.json 的 zero_optimization、offload_param、offload_optimizer、bucket、overlap 与 NVMe 参数,并给出可运行的训练配置模板。