llama.cpp

llama.cpp 是一个用纯 C++ 实现的大模型推理项目,把模型量化成 GGUF 格式后,CPU、Apple 芯片、各种 GPU 都能跑,不需要 CUDA 环境。很多本地推理工具(包括 Ollama、LM Studio)底层都是它。MIT 协议,GitHub 上 13.2 万星。

它解决什么问题

想在没独显的笔记本或小主机上跑模型,装 CUDA 环境装不上,用 PyTorch 版本又慢得没法用。

项目信息

部署方式 源码编译或预编译包
开发语言 C / C++
开源协议 MIT
模型格式 GGUF
硬件支持 CPU / Metal / CUDA / Vulkan 等
内存要求 7B 模型 4bit 量化约需 4-6G 内存

核心功能

  • 纯 CPU 可跑:不需要显卡,普通笔记本就能跑起小参数量模型
  • GGUF 量化:从 2bit 到 8bit 多种量化档位,自己权衡质量和显存
  • 跨平台跨硬件:x86、ARM、Apple Metal、各种 GPU 后端都支持
  • 内置服务端:自带 OpenAI 兼容的 server 模式,能当 API 用

怎么开始用

  1. 装预编译包或自行编译
  2. 下载 GGUF 格式模型文件
  3. 命令行加载模型直接对话
  4. 需要 API 时用 server 模式启动

什么场景下有用

  • 没有独显但想跑本地模型
  • 在 Mac 或 ARM 小主机上部署
  • 要把推理嵌进自己的 C++ 或嵌入式程序

问:和 Ollama 的关系?

答:Ollama 底层用的就是 llama.cpp,但 Ollama 帮你把模型下载和启动都封装好了。

问:量化到什么程度合适?

答:日常对话 Q4_K_M 平衡最好,追求质量用 Q6 或 Q8,但要更多内存。

问:速度能接受吗?

答:纯 CPU 跑 7B 大约每秒几个字,能聊但不快,有 GPU 会快得多。

问:支持多模态吗?

答:部分视觉模型已经支持,需要额外投影文件。

最后更新:2026-10-26

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。