EN
~/home / GitHub
GitHub · C++

google-ai-edge/LiteRT-LM

谷歌推出的面向边缘设备的高性能大语言模型推理框架，支持低延迟、高吞吐的本地 LLM 部署，适用于手机、IoT 等资源受限设备
⭐5.9k16/天
为什么值得关注

解决大模型在终端设备上部署难的问题，推动 AI 从云端走向本地化落地

AI边缘计算LLM性能优化
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

ggml-org/llama.cppamnezia-vpn/amnezia-clientjrouwe/JoltPhysicsFincept-Corporation/FinceptTerminaldoitsujin/dxvkallenk/GeminiWatermarkTool