EN
~/home / GitHub
GitHub · Python

LMCache/LMCache

为大语言模型（LLM）加速的高性能KV缓存层，显著提升推理速度与吞吐量，降低部署成本
⭐10.6k1.5k/天
为什么值得关注

在LLM应用落地中，KV缓存是关键瓶颈，该方案以极致性能突破推理效率天花板

AI基础设施性能优化LLM
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

mvanhorn/last30days-skillayghri/i-have-adhdbojieli/ai-agent-bookNanmiCoder/MediaCrawlerGraphify-Labs/graphifyXiaoYouChR/Ghost-Downloader-3