text-generation-webui

text-generation-webui(oobabooga)是一个功能最全的本地模型 Web 界面,支持加载 GGUF、GPTQ、EXL2 等多种格式,内置角色扮演、LoRA 训练、扩展插件、多模型对比等能力。Python 编写,AGPL-3.0 协议,GitHub 上 4.7 万星。

实际使用中的麻烦

想调模型的各种参数、试不同量化格式、跑角色扮演提示词,普通工具只给一个对话框,不够用。

主要能力

  • 多格式加载:GGUF、GPTQ、EXL2、Transformers 都能加载,一个界面切
  • 参数全暴露:采样、惩罚、上下文、GPU 分层逐项可调,适合做实验
  • 内置 LoRA 训练:不用另起一套脚本,界面里能训自己的适配器
  • 扩展生态:插件机制接语音、搜索、图像等能力

项目概况

部署方式 一键启动脚本或 Docker
开发语言 Python
开源协议 AGPL-3.0
支持格式 GGUF / GPTQ / EXL2 / Transformers
接口 OpenAI 兼容 API
适合人群 喜欢调参数、做实验的用户

怎么部署

  1. 按官方脚本安装依赖
  2. 启动后浏览器打开界面
  3. 在 Model 页选模型和加载方式
  4. 到 Parameters 页调采样参数并测试

适用人群

  • 想深入调模型参数的人
  • 需要训练 LoRA 做定制化
  • 做模型效果对比测试

问:和 LM Studio 比?

答:可调项多得多,代价是界面复杂、上手门槛高。

问:能训练模型吗?

答:支持 LoRA 微调,但完整训练还是得用专门的框架。

问:装起来难吗?

答:一键脚本基本能跑通,Windows 有整合包。

问:支持中文模型吗?

答:支持,Qwen 等中文模型加载和对话都正常。

最后更新:2026-10-26

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。