vLLM-Ascend 是 vLLM 框架在华为 Ascend 系列芯片上的社区驱动硬件插件,提升大模型推理性能,推动国产 AI 芯片生态发展。
⭐2.5k🔥 +11 近1日
为什么值得关注
访问 GitHub 页面 →
填补 vLLM 对国产 Ascend 芯片支持的空白,助力国产 AI 硬件在大模型推理场景中实现高性能落地。
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布
填补 vLLM 对国产 Ascend 芯片支持的空白,助力国产 AI 硬件在大模型推理场景中实现高性能落地。