
Ollama 是一个本地大模型运行工具,一条命令就能下载并运行 Llama、Qwen、DeepSeek、Gemma 等开源模型,自动处理量化、显存分配和接口暴露,并对外提供 OpenAI 兼容 API。开源,MIT 协议,GitHub 上 18.5 万星。
它解决什么问题
想在自己电脑上跑大模型,得先折腾 Python 环境、模型格式、显存占用,一圈下来热情就没了。
项目信息
| 部署方式 | 各平台安装包或 Docker |
| 开发语言 | Go |
| 开源协议 | MIT |
| 支持平台 | macOS / Windows / Linux |
| 接口 | 本地 HTTP API,OpenAI 兼容 |
| 硬件要求 | 小参数量模型 CPU 可跑,大模型需显存 |
核心功能
- 一条命令拉模型:ollama run 模型名,自动下载并启动,不碰环境配置
- 自动硬件适配:CPU、NVIDIA、AMD、Apple 芯片都自动识别并分配
- OpenAI 兼容接口:本地起一个标准 API,现有工具和代码可以直接接
- 模型库齐全:Qwen、Llama、DeepSeek、Gemma 等主流开源模型都有现成版本
怎么开始用
- 装对应平台的安装包
- 命令行执行 ollama run 加模型名
- 首次会自动下载,下完直接对话
- 需要接口时调本地 11434 端口
什么场景下有用
- 想在自己电脑上跑 AI,又不懂部署细节
- 开发需要本地模型接口做测试
- 数据敏感,不能把内容发给云端
问:没显卡能跑吗?
答:能,小参数量的模型用 CPU 也能跑,就是速度慢一些。
问:中文模型选哪个?
答:Qwen 系列中文表现较好,显存够可以上更大参数量。
问:能和别的工具配合吗?
答:可以,它提供 OpenAI 兼容接口,大多数支持自定义地址的客户端都能接。
问:模型存哪?
答:存在本地模型目录,可以改路径挪到大磁盘上。
最后更新:2026-10-26
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
