SGLang

适合已经会用 vLLM 一类方案、还想对比高并发 Serving 的人。

它是做什么的

SGLang 是开源的大模型推理与 Serving 运行时，常见于需要更高吞吐、复杂生成控制的部署场景。与 Ollama 这类「本机一键跑模」不同，它更偏服务端部署与性能调优。具体安装、后端与版本以官方仓库说明为准。

适合谁

• 要在自有 GPU 上做高并发推理服务的人
• 已经在看 vLLM，想横向对比 Serving 方案的人
• 需要结构化输出 / 复杂生成控制时的备选运行时

官方入口

• GitHub

建议怎么用

按仓库 README 准备 CUDA/驱动环境，先跑通官方 Quick Start 或示例服务，再用自己的模型路径做一次压测对比（吞吐、延迟、显存）。生产前确认许可证与依赖版本。

归类

• 筛选标签：本地推理 · 高并发Serving