EN
~/home / GitHub
GitHub · Python

vllm-project/vllm

高性能、低内存的LLM推理与服务引擎，支持高吞吐量部署大模型，适合需要高效推理的AI工程团队
⭐86.4k104/天
为什么值得关注

解决大模型部署中的内存与吞吐瓶颈，显著提升推理效率，是生产级LLM服务的关键基础设施

AI基础设施推理引擎高性能
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

bojieli/ai-agent-bookvirgiliojr94/book-to-skillayghri/i-have-adhdpaperswithbacktest/awesome-systematic-tradingbradautomates/claude-videohuggingface/speech-to-speech