Skip to content
RobotWorld
← 标签

#Disaggregated Serving (2)

瀑布流分页
vllm-project/vllmApache-2.0

vLLM：从 PagedAttention 长出来的开源服务栈，200+ 模型架构与五维并行

UC Berkeley Sky Lab 出身、2000+ 贡献者的推理与服务库：分页 KV 显存、连续批处理与分块 prefill、CUDA/HIP 图与 torch.compile、FP8/MXFP4/NVFP4/GGUF 等全量量化、FlashInfer/TRTLLM-GEN/FlashMLA 可插拔注意力核、n-gram/suffix/EAGLE/DFlash 四条投机解码路线、张量/流水线/数据/专家/上下文五维并行与 P/D 分离，同时讲 OpenAI 与 Anthropic 两套协议。

推理引擎ServingPagedAttention
Python93k23k597
ai-dynamo/dynamoNOASSERTION

Dynamo：推理引擎之上的数据中心级编排层，KV 感知路由、分层 KVBM 与 SLA 驱动的 Planner

NVIDIA 开源（Apache-2.0）的编排层，Rust 写性能路径、Python 留扩展面。明确不替代 SGLang/TensorRT-LLM/vLLM，而是把它们接成协同的多节点系统：分离式 prefill/decode、KV 感知路由（Qwen3-Coder 480B 上 TTFT 快 2 倍）、KVBM 把 KV cache 卸载到 CPU/SSD/远端、ModelExpress 走 NVLink 流式传权重让冷启动快 7 倍、Planner 按 SLA 自动扩缩（阿里生产环境违约少 80% 且 TCO 低 5%）、Grove 做 NVL72 拓扑感知调度。

Inference OrchestrationKV CacheDisaggregated Serving
Rust8.2k1.6k78