kvcache-ai/ktransformers

一个灵活的异构大模型推理与微调优化框架，支持多种硬件和模型配置，帮助开发者高效部署和调优LLM，适用于AI工程化落地场景。