NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是英伟达 2026 年 10 月发布的开源多模态大模型：总参数 74B、激活 9B（MoE），通过原生 IQ2 量化塞进 24GB 显存，支持文本、图片、视频输入，262K 上下文，实测 84 TPS，采用 OpenMDW-1.1 许可可商用，单张 24GB 显卡即可本地部署。
为什么值得关注？过去想在本地跑 70B 级别的模型，至少得两张 24GB 卡起步。英伟达的做法是：把旗舰级的 Nemotron 3.5 Super VL（120B-A12B）用自家的 Star Elastic 压缩框架砍到 74B-A9B，再把专家层量化到 2.0625 bit（IQ2_XXS），用量化感知蒸馏把精度补回来。官方对比数据显示：同样 24GB 内存预算下，”压缩大模型”的智力水平，全面超过”从头训练小模型”。
核心规格
| 项目 | 参数 |
| 总参数 / 激活参数 | 74B / 9B（MoE 混合专家） |
| 架构 | Mamba-2 + Transformer 混合 LatentMoE，C-RADIO v4-H 视觉编码器 |
| 量化 | 原生 IQ2（2-bit，量化感知训练 + 蒸馏） |
| 上下文 | 262K tokens（256K） |
| 输入 / 输出 | 文本、图片、视频 / 文本 |
| 显存占用 | 约 24GB，可与日常软件同时运行 |
| 解码速度 | 80+ TPS（RTX Spark 实测 84 TPS） |
| 许可 | OpenMDW-1.1，可商用 |
亮点在哪
- 24GB 跑 74B MoE：单张消费级/工作站显卡就能承载，不需要双卡或服务器
- 多模态齐全：直接吃图片和视频（视频按 2fps 抽帧、单次最多 256 帧），输出文字
- 262K 超长上下文：整本书、整个代码库、一小时的会议录像转写都能塞进去
- 速度惊人：LiLiCorr 投机解码器（7 个投机 token）加持，官方基准 84 TPS，比同内存规模的稠密模型快得多
- Agent 能力强：终端操作、网页浏览、工具调用都是它主攻的方向——公开榜单 PinchBench 第 1、WebArena 第 2、BrowseComp 第 2（同内存规模对比）
- 压缩优于从头训练：官方实测同 24GB 预算下，其通用 agent 与推理基准全面超过 Qwen3.6 35B-A3B 和 Gemma 4 26B-A4B
- 支持推理开关：chat 模板可切换思考模式（enable_thinking），要速度关思考、要精度开思考
本地部署步骤（vLLM 路线）
- 准备环境：NVIDIA 显卡（官方支持 Ampere / Hopper / Blackwell 架构），装好 Docker 与 NVIDIA Container Toolkit，显存 ≥24GB
- 拉取 vLLM nightly 镜像：模型需要新版 vLLM（nightly 构建），用官方镜像起容器，映射 8000 端口
- 安装内核依赖：容器内执行 pip 安装 b12x，并运行 vllm download-kernels 下载定制内核（这是 2-bit 专家层能跑起来的关键）
- 下载模型权重：从文章下方下载区进入 Hugging Face 模型页，拉取 NVIDIA 官方量化权重（约 24GB 量级）
- 启动服务：用官方给的 vllm serve 命令启动，关键参数——单卡（tensor-parallel-size 1）、最大上下文 262144、KV cache 用 fp8、视频输入限制 1 条/次、按 2fps 抽 256 帧
- 调用：服务起来后就是一个 OpenAI 兼容接口，任何客户端（Chatbox、Open WebUI、写代码调用）都能接，图片和视频直接传
如果用 RTX 5090 这类单卡消费显卡，社区已有现成的 vLLM 配方（下载区第二个链接），照着参数改显存相关项即可，不用自己摸索。
实际能干什么
- 图片识别：发票、截图、表格、文档拍照——直接转成结构化文字或回答问题
- 视频理解：一段视频丢进去，让它总结内容、找出某个画面、生成字幕脚本
- 长文档处理：262K 上下文一次喂进几十万字，合同、论文、代码库整本分析
- 本地 Agent：接上工具调用，让它操作终端、浏览网页、跑自动化流程——全程数据不出本机
硬件建议
| 设备 | 可行性 |
| RTX 5090（32GB，Blackwell） | ✓ 社区已验证，显存余量充足 |
| RTX 4090（24GB，Ada） | 理论可行（24GB 刚好），需关注 vLLM 对新架构的支持情况 |
| DGX Spark | ✓ 官方主推机型，128GB 统一内存 |
| A100 40G / H100 | ✓ 官方支持，速度最快 |
适合人群
- 想本地跑大模型的极客：24GB 卡就能体验 74B MoE 的质感
- 数据敏感用户：合同、病历、内部文档不能上云，本地多模态推理刚好
- 自动化玩家：本地 Agent 挂工具调用，断网也能干活
- AI 应用开发者：OpenAI 兼容接口，本地起一个当免费后端，开发调试零成本
常见问题
- 2-bit 量化会不会很傻？ 官方用量化感知蒸馏专门做了精度恢复，公开基准上反而超过同内存规模的 4-bit 小模型——”压大模型”比”缩水小模型”保智商
- 24GB 卡够吗？ 模型本身就是按 24GB 预算设计的，但还要留出 KV cache 和系统占用；262K 全上下文 + 视频时建议显存留足余量
- 能商用吗？ OpenMDW-1.1 许可证允许商业使用，具体条款以官方许可为准
- 中文能力如何？ 父模型 Nemotron 3.5 Super VL 是多语言基座，中文对话和识别可用，但对中文语料的优化不如国产模型细致
结语
Nemotron 3.5 Bolt 的意义不在于又一个开源模型，而在于它验证了一条新路线：与其训练一个小的，不如把大的压下来。24GB 显存、80+ TPS、图片视频全吃、262K 上下文——这个配置放在一年前需要服务器预算，现在一张卡就够。下载和部署配方都放在下方下载区，24GB 卡持有者这周就可以试起来。
常见问题（FAQ）
问：24GB 显存真的够吗？
答：够。模型本身就是按 24GB 预算设计的，官方在 RTX Spark（DGX Spark）上实测 84 TPS；但跑满 262K 上下文时要为 KV cache 留余量。
问：2-bit 量化会很傻吗？
答：不会。官方用了量化感知蒸馏专门恢复精度，公开基准上同内存规模内超过 Qwen3.6 35B-A3B 和 Gemma 4 26B-A4B。
问：能商用吗？
答：可以。OpenMDW-1.1 许可允许商业使用，具体条款以官方模型卡为准。
问：用什么部署？
答：官方推荐 vLLM（nightly），需要安装 b12x 内核；社区已有 RTX 5090 单卡配方。
最后更新：2026-10-22 ｜ 由伊藤资源整理核实
