# 推理引擎
7 个相关产品 · 中文解读 · 按热度排序
Aequitas AI
一种具备逻辑验证能力的AI，通过多角度辩论和数学证明引擎，仅在推理被正式验证后才输出结论，避免盲目猜测。
lightseekorg/tokenspeed
超轻量级LLM推理引擎，追求极致速度，适合在边缘设备或高并发场景下快速部署大模型推理服务。
Tiny-vLLM – high performance LLM inference engine in C++ and CUDA
Tiny-vLLM 是一个用 C++ 和 CUDA 实现的高性能 LLM 推理引擎，专为低延迟、高吞吐场景优化，适合 AI 工程师部署大模型服务。
vllm-project/vllm
高性能、低内存的LLM推理与服务引擎，支持高吞吐量部署大模型，适合需要高效推理的AI工程团队
Z3Prover/z3
Z3 是微软开发的高性能定理证明器，支持形式化验证、程序分析与自动推理，广泛用于软件验证、安全分析和 AI 推理等领域。
Fluxnation, the Fastest FLUX.1 Execution Kernel
Fluxnation 是一个专为 FLUX.1 模型设计的超高速执行内核，面向 AI 研发者与推理部署工程师，通过极致优化实现低延迟、高吞吐的模型推理性能。
xLLM-AI/xllm
高性能 AI 推理引擎，支持大语言模型、视觉语言模型等多模态模型，针对多种硬件加速器优化，由 OpenAtom 基金会托管。