LLaMA-Factory:零代码微调 100 多个大模型的开源框架

LLaMA-Factory 是 hiyouga 团队用 Python 写的开源微调框架,GitHub 上 76,109 星、Apache-2.0 许可、11 月 18 日还有新提交,把 100 多个大语言模型和视觉语言模型的预训练、监督微调、DPO/KTO/ORPO 偏好对齐收进一个命令行加一套网页界面(LLaMA Board),4-bit QLoRA 下 7B 模型大约 6GB 显存就能开跑,免费、可商用。

想让模型学会自己这行的说法,最难的从来不是算法,是杂事:数据得转成模型认的格式,每家对话模板不一样,量化级别、LoRA 参数、合并权重、导出 GGUF 每一步都有坑。网上教程各写一半,照着抄十有八九卡在环境上。这个项目把这一串收拢成一份 YAML 加几个下拉框,让人能把时间花在数据上,而不是花在报错上。

参数一览

项目名称 LLaMA-Factory
维护者 / 语言 hiyouga 团队 / Python
Star / 许可 76,109 星 / Apache-2.0,可商用
支持范围 100 多个 LLM 与 VLM,论文入选 ACL 2024
训练方式 预训练、SFT、奖励建模、PPO、DPO、KTO、ORPO、SimPO
省显存手段 LoRA、QLoRA(2/3/4/5/6/8-bit)、GaLore、DoRA、LoRA+
价格 免费,无账号、无调用额度

它把哪些活接了过去

  • 模型和模板统一:Qwen、Llama、Mistral、DeepSeek 这些常见系列的对话模板、分词器差异都写在配置里,换底座只需要改一个模型名。
  • 网页界面训练:跑一句 llamafactory-cli webui 打开 LLaMA Board,选模型、选数据集、调学习率和轮数,训练曲线在页面上实时看,不用背命令行参数。
  • 低显存也能动手:4-bit QLoRA 把权重压到 4 位,官方硬件表给的估算是 7B 约 6GB、14B 约 12GB、30B 约 24GB、70B 约 48GB;16 位 LoRA 则要 7B 16GB 起。
  • 偏好对齐不缺项:除了常规 SFT,DPO、KTO、ORPO、SimPO 都有现成入口,做「让模型少说废话」这类调整不用自己拼训练脚本。
  • 训完直接能用:支持合并 LoRA 权重、导出 GGUF,也能生成 Ollama 的 Modelfile;推理侧可以拉起 vLLM 或 SGLang,对外提供 OpenAI 风格的接口,接自己现有程序不用改代码。

适合人群

  • 手上有一批行业问答、客服记录,想做成自家模型的中小团队。
  • 只有一张 8GB 到 12GB 显卡,想先跑通 LoRA 再谈规模的个人开发者。
  • 要复现论文实验、对比不同对齐方法的研究者。
  • 反过来也要说清:只想聊天、不打算训练模型的人用不上它,直接用现成的本地客户端更省事。

上手步骤

  1. 建一个干净的 Python 环境(conda 或 uv 都行),把仓库克隆下来,执行 pip install -e . 和 pip install -r requirements/metrics.txt。
  2. Windows 用户先单独装 CUDA 版 PyTorch,再装 bitsandbytes,否则 QLoRA 会在加载模型时报错;装完用一行代码确认 CUDA 可用。
  3. 跑 llamafactory-cli webui,浏览器会自动打开 LLaMA Board。
  4. 在「模型」里填底座的 Hugging Face 名称,「数据集」选内置示例或上传自己的 alpaca / sharegpt 格式文件。
  5. 训练方式选 LoRA、量化选 4-bit,学习率和轮数先用默认值跑一轮,看损失是否平稳下降。
  6. 满意后到「导出」页合并权重,按需导出 GGUF 或生成 Ollama Modelfile,之后就能在本地客户端里加载。

问:只有一张 8GB 显卡,能微调多大的模型?

答:4-bit QLoRA 下 7B 大约 6GB 起步,14B 要 12GB 左右。8GB 卡建议停在 7B 以内,同时把序列长度和 batch 压小,否则会撞显存上限。

问:微调完的模型能给 Ollama 用吗?

答:可以。项目支持合并 LoRA 权重并导出 GGUF,也能直接生成 Ollama 的 Modelfile,省掉自己转格式的步骤。

问:中文数据集支持吗?

答:支持,界面和文档都有中文版。数据集用 alpaca 或 sharegpt 格式,把指令、输入、输出三个字段对上就能训练。

问:拿来做商业产品要额外授权吗?

答:框架本身是 Apache-2.0,可以商用。但你微调的那个底座模型有自己的许可,Llama 系列、Qwen 系列的条款不一样,上线前要看清楚底座那一份。

最后更新:2026-11-19

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。