vLLM

vLLM 是一个高吞吐的大模型推理引擎,核心是 PagedAttention 显存管理技术,能把显存碎片降到最低,同一张卡上跑出远高于原生实现的并发吞吐。支持 OpenAI 兼容 API,适合部署对外服务。Python 编写,Apache-2.0 协议,GitHub 上 9.5 万星。

为什么需要它

自己拿 transformers 直接跑模型,单请求还行,一上并发就排队,显存还总是不够用。显卡很贵,吞吐量差一倍就是成本差一倍。

它具体做什么

  • PagedAttention:像操作系统管理内存那样管 KV Cache,显存利用率大幅提升
  • 连续批处理:新请求可以插进正在跑的批次,不用等上一批跑完
  • OpenAI 兼容接口:起服务后就是标准 API,现有代码直接改地址就能用
  • 多量化格式:支持 AWQ、GPTQ、FP8 等,小显存也能跑大模型

基本信息

部署方式 pip 安装,命令行起服务
开发语言 Python + CUDA
开源协议 Apache-2.0
硬件 以 NVIDIA GPU 为主,也支持部分其他加速卡
接口 OpenAI 兼容 HTTP API
适用规模 从单卡到多卡张量并行

适合谁用

  • 要把模型部署成对外的 API 服务
  • 显卡有限、想最大化并发吞吐
  • 做 AI 产品后端,需要稳定推理层

上手怎么做

  1. 装好 vllm 和 CUDA 环境
  2. 命令行启动服务,指定模型和显存占用比例
  3. 通过 OpenAI 兼容接口发请求
  4. 按并发压力调批处理参数和量化方案

问:和 Ollama 有什么区别?

答:Ollama 面向本地个人使用,vLLM 面向服务端高并发,吞吐量差距明显。

问:没有 N 卡能跑吗?

答:官方以 NVIDIA 为主,其他硬件需要对应后端支持,兼容性要提前确认。

问:显存不够怎么办?

答:用量化版本,或者调到更小的上下文长度,也可以多卡张量并行。

问:要多少显存才够?

答:7B 模型 FP16 大约 14G 起步,量化和上下文长度都会影响,留 20% 余量更稳。

最后更新:2026-10-26

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。