https://blog.ans20xx.com/tags/kv-cache/Recent content in KV Cache on 安橙的博客Hugo -- 0.163.3zhSat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day29/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day29/进入 LLM 推理 Infra:理解 prefill 与 decode 的阶段差异、KV Cache 为什么是显存大头、吞吐/延迟指标如何拆解,并写出一个最小 generation loop。https://blog.ans20xx.com/posts/ai/day31/Sat, 20 Jun 2026 00:00:00 +0000https://blog.ans20xx.com/posts/ai/day31/学习 PagedAttention 与 vLLM 的核心机制:为什么 KV Cache 会浪费显存,如何用 block table 管理逻辑块到物理块的映射,copy-on-write 如何支撑并行采样和 beam search,以及这些机制如何服务高吞吐 LLM serving。