
llama.cpp 是一个用纯 C++ 实现的大模型推理项目,把模型量化成 GGUF 格式后,CPU、Apple 芯片、各种 GPU 都能跑,不需要 CUDA 环境。很多本地推理工具(包括 Ollama、LM Studio)底层都是它。MIT 协议,GitHub 上 13.2 万星。
它解决什么问题
想在没独显的笔记本或小主机上跑模型,装 CUDA 环境装不上,用 PyTorch 版本又慢得没法用。
项目信息
| 部署方式 | 源码编译或预编译包 |
| 开发语言 | C / C++ |
| 开源协议 | MIT |
| 模型格式 | GGUF |
| 硬件支持 | CPU / Metal / CUDA / Vulkan 等 |
| 内存要求 | 7B 模型 4bit 量化约需 4-6G 内存 |
核心功能
- 纯 CPU 可跑:不需要显卡,普通笔记本就能跑起小参数量模型
- GGUF 量化:从 2bit 到 8bit 多种量化档位,自己权衡质量和显存
- 跨平台跨硬件:x86、ARM、Apple Metal、各种 GPU 后端都支持
- 内置服务端:自带 OpenAI 兼容的 server 模式,能当 API 用
怎么开始用
- 装预编译包或自行编译
- 下载 GGUF 格式模型文件
- 命令行加载模型直接对话
- 需要 API 时用 server 模式启动
什么场景下有用
- 没有独显但想跑本地模型
- 在 Mac 或 ARM 小主机上部署
- 要把推理嵌进自己的 C++ 或嵌入式程序
问:和 Ollama 的关系?
答:Ollama 底层用的就是 llama.cpp,但 Ollama 帮你把模型下载和启动都封装好了。
问:量化到什么程度合适?
答:日常对话 Q4_K_M 平衡最好,追求质量用 Q6 或 Q8,但要更多内存。
问:速度能接受吗?
答:纯 CPU 跑 7B 大约每秒几个字,能聊但不快,有 GPU 会快得多。
问:支持多模态吗?
答:部分视觉模型已经支持,需要额外投影文件。
最后更新:2026-10-26
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
