MIT 许可、构建在 ggml 上的纯 C/C++ 推理实现，无任何依赖。17 个后端覆盖 CUDA/Metal/HIP/Vulkan/SYCL/WebGPU/CANN/Hexagon/MUSA/zDNN/ZenDNN；1.5-8 比特整数量化；CPU+GPU 混合推理让超出显存的模型也能跑；GGUF 是它输出的事实标准权重格式，连 vLLM 都直接吃。llama cli / llama serve 两行起一个 OpenAI 兼容服务。
UC Berkeley Sky Lab 出身、2000+ 贡献者的推理与服务库：分页 KV 显存、连续批处理与分块 prefill、CUDA/HIP 图与 torch.compile、FP8/MXFP4/NVFP4/GGUF 等全量量化、FlashInfer/TRTLLM-GEN/FlashMLA 可插拔注意力核、n-gram/suffix/EAGLE/DFlash 四条投机解码路线、张量/流水线/数据/专家/上下文五维并行与 P/D 分离，同时讲 OpenAI 与 Anthropic 两套协议。
面向显存贫乏者的一站式本地生成应用：视频、图像、音频与语音模型统一入口，底层 MMGP 用块交换、显存预载与七档 Profile 把超显存模型跑起来，最低 6GB 显存。
Strata 是一个基于 llama.cpp/ggml 构建的开源本地推理引擎，通过 MoE 专家分层缓存（GPU→RAM→SSD）和猜测-验证投机解码，让 12GB 显存的消费级显卡也能运行 Qwen3.8-Flash-Next 1250 亿参数模型，生成速度达 53-94 tokens/秒。
从零实现的 C++/CUDA 推理引擎，只服务五个注册 Qwen 权重、只跑一张 RTX 5090：MTP/DFlash 投机解码、五种 KV 存储、24 万 token 上下文与 Device/Host 前缀检查点复用，C=8 聚合解码 1,146.9 tok/s。
一份把本地 LLM 从零跑起来的 10 步路线图：内存与模型选择、Ollama 安装、量化、硬件选购、API 服务化、小模型路由，以及六个可直接照搬的实战负载。
博客
作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。
0:12
