一个灵活的框架，用于优化异构大模型推理与微调性能，主要面向需要高效部署和调优LLM的开发者与研究者
1.5k 票
🤖 Agent 拆解 · coding
解决什么场景优化异构大模型推理与微调性能
目标市场开发者与研究者
为什么值得关注
访问 GitHub 页面 →
支持多种异构硬件与推理优化策略，是LLM工程化落地的重要基础设施
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布
支持多种异构硬件与推理优化策略，是LLM工程化落地的重要基础设施