~/home / tags / 推理加速

# 推理加速

1 个相关产品 · 中文解读 · 按热度排序

KV-Cache Grafting – Boosting frozen 12B LLMs to 93.3% AIME accuracy

一种针对冻结的120亿参数大模型的KV缓存优化技术，可将推理准确率提升至93.3%的AIME水平，适用于需要高效推理的AI开发者。

其他标签