#Local LLM (2)

MIT 许可、构建在 ggml 上的纯 C/C++ 推理实现，无任何依赖。17 个后端覆盖 CUDA/Metal/HIP/Vulkan/SYCL/WebGPU/CANN/Hexagon/MUSA/zDNN/ZenDNN；1.5-8 比特整数量化；CPU+GPU 混合推理让超出显存的模型也能跑；GGUF 是它输出的事实标准权重格式，连 vLLM 都直接吃。llama cli / llama serve 两行起一个 OpenAI 兼容服务。

推理引擎GGUF量化

C++130k24k841

unslothai/unslothApache-2.0

unsloth：2 倍速、省 70% 显存的微调库，如今是把本地权重接进 Claude Code 与 Codex 的桌面运行时

自称第一个能同时运行与训练模型的桌面应用（Windows/macOS/Linux，多 GPU 与 NVIDIA/AMD/Intel/CPU/Vulkan）。微调宣称快 2 倍、省 70% 显存，后训练菜单覆盖 LoRA/QLoRA/全参/预训练/GRPO/DPO/FP8，导出 GGUF、NVFP4、FP8。Unsloth Start 一条命令把 Claude Code 或 Codex 接到本地权重上；模型清单含 Qwen3.8、GLM-5.3-Flash、Kimi K3、DeepSeek-V4、MiniMax-H3、Gemma 4，另内置私有网页搜索、deep research、自动压缩与 RAG。

微调QLoRAGRPO

Python77k7.1k385

#Local LLM (2)

llama.cpp：17 个后端、1.5 到 8 比特量化，把 LLM 推理带到任何有编译器的地方

unsloth：2 倍速、省 70% 显存的微调库，如今是把本地权重接进 Claude Code 与 Codex 的桌面运行时