正在打开工具详情…
正在打开工具详情…
Unsloth 现在是桌面应用:本地跑和微调 LLM、扩散、语音等模型,支持 GGUF / MLX / Qwen3.8 / FLUX,还能导出 GGUF。适合不想写代码做微调的人;代价是要自己管 GPU,且对外暴露时必须先设管理员密码。
想在自己机器上微调或跑本地模型、又不想从零拼训练脚本的人;以及想让编码代理走本地模型而不是云 API 的人。
没有独显或显存很紧的人——省 70% 显存也还是要显存;也不适合想开箱即用、不愿处理 Docker / GPU 驱动 / 端口密码的人。
Unsloth 已经从「微调加速库」长成一个桌面应用:Windows / Linux / WSL / macOS 都支持,NVIDIA、AMD、Intel GPU、CPU 与 Vulkan 后端都能跑,多卡也行。它有三层用法——Unsloth Desktop(下载安装包即用,推荐)、Unsloth Studio(Web UI,unsloth studio 启动)、Unsloth Core(代码版,uv pip install unsloth --torch-backend=auto)。微调这块官方给的是 2 倍速度、70% 显存下降且无精度损失,覆盖 LoRA / QLoRA / 全参微调 / 预训练 / RL / GRPO / DPO / FP8,导出支持 GGUF、NVFP4、FP8 等格式,数据集还能从 PDF、CSV、DOCX 直接构建。
它有个很实用的入口:unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL 这类一条命令,把本地模型接给 Claude Code、Codex、VS Code、OpenCode、Hermes、OpenClaw 等代理,不用自己搭 OpenAI 兼容层。
坑有三处。Windows 装 Core 必须先装 torchao 再装 unsloth:--torch-backend 只在 PyTorch 索引里找 torchao,那里没有较新的 Windows 版本,一步装会静默解析到旧版 Unsloth。Docker 在 Linux / Mac 上要先跑官方脚本配一次 NVIDIA toolkit,AMD 另有 unsloth/unsloth-rocm 镜像。对外暴露(--secure、--cloudflare、非 loopback 的 -H)会要求在终端设管理员密码,;headless 用 ,忘了就 。
UNSLOTH_STUDIO_PASSWORD='...' unsloth studio --secureunsloth studio reset-password上手步骤之外的具体做法:常见场景怎么配、命令怎么写、报错怎么处理。
按第一次用会卡在哪讲:三种形态怎么选、把本地模型接给编码代理那条命令、对外暴露时的密码机制、以及 Windows 上 torchao 的安装顺序。
| 形态 | 怎么起 | 适合 |
|---|---|---|
| Unsloth Desktop | 下载安装包 | 不碰命令行,推荐 |
| Unsloth Studio | unsloth studio | Web UI,想远程访问 |
| Unsloth Core | uv pip install unsloth --torch-backend=auto | 写脚本、嵌进自己的流程 |
三者共用同一套能力(跑模型、微调、导出、数据集),装一个就够。
这是很多人装它真正的理由:
bashunsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL| 代理 | 命令 |
|---|---|
| Claude Code | unsloth start claude |
| OpenAI Codex | unsloth start codex |
| VS Code | unsloth start vscode |
| OpenCode | unsloth start opencode |
| Hermes / Pi / OpenClaw | unsloth start hermes / pi / openclaw |
README 用「be careful」强调了这一层:服务端工具默认是开着的。
--secure、--cloudflare 或非 loopback 的 -H 启动时,终端会要求设一个新的管理员密码UNSLOTH_STUDIO_PASSWORD='your-strong-password' unsloth studio --secureunsloth studio reset-password--disable-tools局域网访问在 Settings > API keys > LAN access 里开,别直接把 -H 0.0.0.0 当默认配置。
这是静默失败最多的一步。Core 版要这样装:
powershellwinget install -e --id Python.Python.3.13
winget install --id=astral-sh.uv -e
uv venv unsloth_env --python 3.13
.\unsloth_env\Scripts\activate
uv pip install torchao
uv pip install unsloth --torch-backend=autotorchao 必须单独先装:--torch-backend 只在 PyTorch 索引里找 torchao,而那里没有较新的 Windows 版本,一步装会静默解析到旧版 Unsloth,症状是能装上但不是你要的版本。
Linux / Mac 上先配一次 NVIDIA toolkit(官方脚本 install_nvidia_toolkit.sh),AMD 用 unsloth/unsloth-rocm 镜像。只要 notebook 就拉 :core 标签,体积小很多。