正在打开工具详情…
正在打开工具详情…
统一微调框架:100+ 模型,从 LoRA / QLoRA / 全参到 PPO / DPO / KTO,命令行与零代码 Web UI 双入口。适合要在自己机器上微调的人;代价是 README 没有 Windows 路径,且第三方站点均被官方声明为非授权。
要在自己的 GPU 机器上微调开源模型、又不想自己写训练循环的人;以及需要快速跟上新模型(Day 0 / Day 1 支持)的团队。
Windows 桌面用户——README 里没有任何 Windows 安装路径;也不适合想找「一键傻瓜包」的人,官方明确把第三方站点都标为非授权。
LlamaFactory 解决的是「微调这件事太碎」。模型侧覆盖 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等一百多个;方法侧从(增量)预训练、多模态 SFT、奖励模型到 PPO、DPO、KTO、ORPO;资源侧支持 16-bit 全参、freeze、LoRA 与 2/3/4/5/6/8-bit QLoRA(AQLM / AWQ / GPTQ / LLM.int8 / HQQ / EETQ)。算法上还堆了 GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LoRA+、LoftQ、PiSSA,推理侧可切 vLLM 或 SGLang worker 的 OpenAI 风格 API。
两条入口:命令行与零代码的 LLaMA Board(Gradio)。不想在本地装环境,README 给了三条免费路径——Colab、阿里云 PAI-DSW 免费试用、AMD GPU Cloud 免费额度;想先试界面,HuggingFace Spaces 与 ModelScope 上都有官方的 LLaMA Board。新模型跟进速度是它真正的卖点:Day 0 支持 Qwen3 / Qwen2.5-VL / Gemma 3 / GLM-4.1V / InternLM 3 / MiniCPM-o-2.6,Day 1 支持 Llama 3 / GLM-4 / Mistral Small / PaliGemma2 / Llama 4。
两条坑必须讲。一是 README 用醒目提示写明:除了它列出的那几个链接,其他网站都是未经授权的第三方站点,别从搜索出来的第三方渠道拿镜像或一键包。二是 Windows 没有出现在 README 的任何一条路径里(云端、Docker、ASCEND NPU、AMD 都是 Linux 语境),Windows 用户别默认自己被支持。另外要留意它还在快速变化:25/10 才通过 mcore_adapter 加了 Megatron-core 训练后端。
上手步骤之外的具体做法:常见场景怎么配、命令怎么写、报错怎么处理。
按第一次用会卡在哪讲:先选免费环境还是本地、CLI 与 LLaMA Board 两条入口、训练方法与显存档位怎么挑、以及那条「第三方站点均非授权」的警告。
README 一上来就给了三条不用装环境的路:
确认要长期用,再回本地 Docker 或裸机。这个顺序能省掉大量环境调试时间。
| 入口 | 适合 |
|---|---|
| 命令行(CLI) | 批量、脚本化、可复现 |
| LLaMA Board(Gradio Web UI) | 零代码,先把一次训练跑通 |
零代码是它的宣传点之一:Web UI 里选模型、选数据、调参数就能开训。不熟悉训练参数的人从 Board 入手,把跑通的配置再搬到 CLI。
按显存从高到低大致是:
目标只是让模型学会某种风格或格式,LoRA / QLoRA 足够;真要改底层能力再考虑全参。省显存的优化器还有 GaLore、BAdam、APOLLO、Adam-mini、Muon 可选。
训完要部署,README 给了 vLLM worker 或 SGLang worker 的 OpenAI 风格 API(infer_backend: sglang),比直接用训练框架推理快得多。它的文档站有完整参数表。
README 用 NOTE 明确写:除了它列出的那几个链接,其他网站都是未经授权的第三方网站,请谨慎使用。搜索出来的「一键包」「国内镜像站」都不在官方列表里,别用。
它对前沿模型的跟进被整理成了一张表:Day 0 支持 Qwen3 / Qwen2.5-VL / Gemma 3 / GLM-4.1V / InternLM 3 / MiniCPM-o-2.6;Day 1 支持 Llama 3 / GLM-4 / Mistral Small / PaliGemma2 / Llama 4。新模型刚发布就想微调时,这张表比任何评测都有用。