triton-inference-server/server

NVIDIA Triton推理服务器，为云和边缘场景提供高性能、可扩展的AI模型推理服务，支持多框架、动态批处理与模型版本管理。