跳转至

vLLM

常见的推理框架主要有 vLLM 和 SGLang 两个。考虑到兼容性与社区大小，本文重点介绍前者。