ggml-org/llama.cpp

llama.cpp 是一个用 C/C++ 实现的本地 LLM 推理框架，支持在 CPU 上运行 Llama 等大模型，无需 GPU，适合边缘设备和隐私敏感场景。