#KV Cache (1)

拆解 vLLM：高吞吐大模型推理系统的解剖学——从引擎循环、Paged Attention 到多节点分布式服务

vLLM 核心贡献者的系统拆解：从离线单进程引擎讲起，逐层覆盖调度器、Paged Attention 的 KV cache 分块、continuous batching、prefix caching、投机解码、P/D 分离，再到多卡执行器、两节点四副本分布式服务栈，以及 TTFT/ITL/goodput 与 roofline 模型下延迟与吞吐的取舍。

博客