在 NVIDIA Jetson 上微调、转换并部署语言模型:Unsloth + llama.cpp 实战教程
Jetson AI Lab 官方教程:用 Unsloth + JetPack 7.2 直接在 Jetson 上以内存高效的 QLoRA 微调模型,导出 GGUF 并用 llama.cpp 本地运行。两个实战案例:Jetson Orin Nano 上的 Qwen3.5-4B 视觉语言模型(LaTeX OCR 微调),以及 Jetson AGX Thor 上的 NVIDIA Nemotron 3.5 Lightning 30B-A3B(44.8 秒完成 3 步训练、Q4_K_M 量化后跑出 66.1 tokens/秒)。全程无需云端。
博客
英伟达Jetson边缘 AIUnslothQLoRA