Ollama

Ollama 是一个本地大模型运行工具,一条命令就能下载并运行 Llama、Qwen、DeepSeek、Gemma 等开源模型,自动处理量化、显存分配和接口暴露,并对外提供 OpenAI 兼容 API。开源,MIT 协议,GitHub 上 18.5 万星。

它解决什么问题

想在自己电脑上跑大模型,得先折腾 Python 环境、模型格式、显存占用,一圈下来热情就没了。

项目信息

部署方式 各平台安装包或 Docker
开发语言 Go
开源协议 MIT
支持平台 macOS / Windows / Linux
接口 本地 HTTP API,OpenAI 兼容
硬件要求 小参数量模型 CPU 可跑,大模型需显存

核心功能

  • 一条命令拉模型:ollama run 模型名,自动下载并启动,不碰环境配置
  • 自动硬件适配:CPU、NVIDIA、AMD、Apple 芯片都自动识别并分配
  • OpenAI 兼容接口:本地起一个标准 API,现有工具和代码可以直接接
  • 模型库齐全:Qwen、Llama、DeepSeek、Gemma 等主流开源模型都有现成版本

怎么开始用

  1. 装对应平台的安装包
  2. 命令行执行 ollama run 加模型名
  3. 首次会自动下载,下完直接对话
  4. 需要接口时调本地 11434 端口

什么场景下有用

  • 想在自己电脑上跑 AI,又不懂部署细节
  • 开发需要本地模型接口做测试
  • 数据敏感,不能把内容发给云端

问:没显卡能跑吗?

答:能,小参数量的模型用 CPU 也能跑,就是速度慢一些。

问:中文模型选哪个?

答:Qwen 系列中文表现较好,显存够可以上更大参数量。

问:能和别的工具配合吗?

答:可以,它提供 OpenAI 兼容接口,大多数支持自定义地址的客户端都能接。

问:模型存哪?

答:存在本地模型目录,可以改路径挪到大磁盘上。

最后更新:2026-10-26

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。