
vLLM 是一个高吞吐的大模型推理引擎,核心是 PagedAttention 显存管理技术,能把显存碎片降到最低,同一张卡上跑出远高于原生实现的并发吞吐。支持 OpenAI 兼容 API,适合部署对外服务。Python 编写,Apache-2.0 协议,GitHub 上 9.5 万星。
为什么需要它
自己拿 transformers 直接跑模型,单请求还行,一上并发就排队,显存还总是不够用。显卡很贵,吞吐量差一倍就是成本差一倍。
它具体做什么
- PagedAttention:像操作系统管理内存那样管 KV Cache,显存利用率大幅提升
- 连续批处理:新请求可以插进正在跑的批次,不用等上一批跑完
- OpenAI 兼容接口:起服务后就是标准 API,现有代码直接改地址就能用
- 多量化格式:支持 AWQ、GPTQ、FP8 等,小显存也能跑大模型
基本信息
| 部署方式 | pip 安装,命令行起服务 |
| 开发语言 | Python + CUDA |
| 开源协议 | Apache-2.0 |
| 硬件 | 以 NVIDIA GPU 为主,也支持部分其他加速卡 |
| 接口 | OpenAI 兼容 HTTP API |
| 适用规模 | 从单卡到多卡张量并行 |
适合谁用
- 要把模型部署成对外的 API 服务
- 显卡有限、想最大化并发吞吐
- 做 AI 产品后端,需要稳定推理层
上手怎么做
- 装好 vllm 和 CUDA 环境
- 命令行启动服务,指定模型和显存占用比例
- 通过 OpenAI 兼容接口发请求
- 按并发压力调批处理参数和量化方案
问:和 Ollama 有什么区别?
答:Ollama 面向本地个人使用,vLLM 面向服务端高并发,吞吐量差距明显。
问:没有 N 卡能跑吗?
答:官方以 NVIDIA 为主,其他硬件需要对应后端支持,兼容性要提前确认。
问:显存不够怎么办?
答:用量化版本,或者调到更小的上下文长度,也可以多卡张量并行。
问:要多少显存才够?
答:7B 模型 FP16 大约 14G 起步,量化和上下文长度都会影响,留 20% 余量更稳。
最后更新:2026-10-26
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
