
exo 是 exo labs 用 Python 写的本地 AI 集群工具,48074 星、Apache-2.0 许可。它把同一网络里的多台设备自动连成一个集群,跑超过单机显存上限的大模型,支持 RDMA over Thunderbolt 5 直连、拓扑感知自动并行和张量并行,并对外提供兼容 OpenAI、Claude、Ollama 的接口,整套免费自托管。
想在本地跑 70B 以上的模型,单张消费级显卡根本不够——即便量化到 4bit,权重也要 40GB 上下。租云 GPU 按小时计费,跑长任务心里没底;调用在线 API 又要顾虑数据出不出得去。多数人吃亏的地方在于:手边的笔记本、台式机、Mac mini 各自的显存加起来并不少,只是没法当成一个整体调用。
工具特点
- 自动设备发现:装好即互相找到,不用手填 IP、不用维护节点列表。
- RDMA over Thunderbolt 5:苹果设备之间走雷雳直连的 RDMA 通道,官方称设备间延迟降低 99%,是加机器就越快的前提。
- 拓扑感知自动并行:实时读取每台设备的资源和链路带宽、延迟,再决定模型按什么方式切分。
- 张量并行:官方给出的数据是 2 台设备最高 1.8 倍、4 台最高 3.2 倍加速。
- MLX 推理后端:Apple Silicon 上用 MLX 做推理,分布式通信走 MLX distributed。
- 多套 API 兼容:OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama 四种接口都能对上,现有客户端改个地址就能用。
- 内置管理面板:起服务后默认在 52415 端口,能看集群视图、直接对话、查看实例状态。
- 自定义模型:可从 HuggingFace 加载仓库里没有的模型。
参数一览
| GitHub 星标 | 48074(2026-10-29 实时) |
| 开发语言 / 许可 | Python / Apache-2.0 |
| 推理后端 | MLX(Apple Silicon) |
| API 兼容 | OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama |
| 默认端口 | 52415 |
| 加速硬件 | macOS 走 GPU;Linux 目前仅 CPU |
适合人群
- 手边有多台 Mac(尤其 M 系列)想搭一套私有本地 AI 的人。
- 需要跑 70B、235B 甚至 671B 参数模型,又不想为此买服务器。
- 已经有 OpenAI 或 Ollama 客户端的开发者,希望把后端换成本地而不改代码。
- 对数据外发敏感、要求推理全在内网完成的团队。
使用说明
- macOS 上先备齐 Xcode、Homebrew、uv、node 和 Rust nightly(用于编译 Rust 绑定)。
- 克隆仓库后进入 dashboard 目录,执行安装并构建前端。
- 回到仓库根目录,用 uv 同步依赖并带上 mlx 扩展。
- 运行 exo 启动服务,浏览器打开本机 52415 端口即可看到面板。
- 其他设备用同样方式跑起来,会自动出现在集群视图里,无需手工配对。
- 想启用雷雳 RDMA,需要 macOS 26.2 以上,按文档开启该特性。
exo 解决的其实不是「模型够不够聪明」,而是「手上的硬件能不能拼起来用」。它把闲置设备的显存聚成一个池子,让本地跑大模型从少数人的玩具变成普通多机环境也能试一试的事。开源、可自托管、接口兼容,迁移成本基本只剩一个前提:你手上得有那么两三台能跑的机器。
问:exo 必须用 Apple 芯片吗?
答:不是必须,但体验差距很大。macOS 上走 GPU 加速,Linux 节点目前只能跑 CPU 推理,速度不在一个量级。真要跑大模型,至少备一台 Apple Silicon 设备。
问:Mac 和 Linux 服务器能混在一个集群里吗?
答:可以加进同一个集群,只是 Linux 节点只跑 CPU。混合部署能用,但异构设备的吞吐取决于最慢的那台,实际收益不如同构集群。
问:exo 和 llama.cpp、Ollama 是替代关系吗?
答:不是。Ollama 和 llama.cpp 是单机推理引擎,exo 做的是把多台设备的显存拼起来调度,并对外暴露兼容接口。可以理解成在前面套了一层集群调度层。
问:能商用吗,要付费吗?
答:Apache-2.0 许可,商用不收费。但它只负责推理调度,模型本身的许可证要单独看——部分开源模型明确限制商业用途。
最后更新:2026-10-29
