#推理引擎 (2)

从零实现的 C++/CUDA 推理引擎，只服务五个注册 Qwen 权重、只跑一张 RTX 5090：MTP/DFlash 投机解码、五种 KV 存储、24 万 token 上下文与 Device/Host 前缀检查点复用，C=8 聚合解码 1,146.9 tok/s。

统一推理运行时,让 VLA 与世界动作模型在机载/边缘/云端共用同一套代码完成评估、RL rollout 与部署;较 pi0、pi0.5、GR00T N1.7 等官方实现提速 1.40–4.65 倍。