正在打开工具详情…
正在打开工具详情…
《Build a Large Language Model (From Scratch)》的官方代码库，一章一章用 PyTorch 手写 GPT：注意力、预训练、分类微调、指令微调。适合真想看懂 LLM 内部的人；只想调 API 的话这里没有捷径。
有 Python 基础、想真正理解注意力与 GPT 内部构造的工程师与自学者；要找可动手教材备课的老师也用得上。
想三天内做出一个能用的 AI 应用的人——这里全是原理与手写实现；也不适合没有 Python 基础的人，README 把「扎实的 Python 功底」列为最重要的前提。
这是 Sebastian Raschka 那本《Build a Large Language Model (From Scratch)》的官方仓库，不是工具库。主线从第 2 章的文本数据与 DataLoader、第 3 章手写注意力机制、第 4 章从零搭出 GPT 模型、第 5 章在无标注数据上预训练、第 6 章分类微调、到第 7 章指令微调，附录 A 补 PyTorch 基础、附录 E 讲 LoRA 参数高效微调。不用任何外部 LLM 库，全部自己写。
它最实在的一点是硬件门槛低：主章节代码设计成在普通笔记本上就能在合理时间内跑完，有 GPU 会自动用上。这和大多数「复现 LLM」的仓库不一样——那个量级的东西个人根本跑不动。
每章都有练习，答案汇总在附录 C，各章目录下还有 exercise-solutions.ipynb；Manning 网站上还能免费下一本 170 页的测验 PDF（每章约 30 题）。另外有 17 小时 15 分的配套视频课，章节结构与书一一对应。
代价是时间：这是「逐个概念手写一遍」的路子，不是三小时速成。想快速用上 LLM 的人应该去看推理框架或 API，这里解决的是「它到底怎么工作」。续作《Build A Reasoning Model (From Scratch)》从预训练模型出发讲推理时扩展、强化学习与蒸馏，读完主线再接那本。
上手步骤之外的具体做法：常见场景怎么配、命令怎么写、报错怎么处理。
按第一次读会卡在哪讲：章节顺序怎么走、Python 与 PyTorch 两个前提怎么补、每章的三种文件分别是什么、以及哪些 bonus 材料值得回头看。
bashgit clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git主线是第 2 到第 7 章，每章一个目录：
| 章 | 内容 |
|---|---|
| Ch 2 | 文本数据与 DataLoader |
| Ch 3 | 手写注意力机制 |
| Ch 4 | 从零实现 GPT 模型 |
| Ch 5 | 在无标注数据上预训练 |
| Ch 6 | 分类任务微调 |
| Ch 7 | 指令微调 |
顺序不要跳。 第 3 章的注意力是第 4 章模型的核心，第 4 章的模型又是第 5 章预训练的输入。跳章读会卡在「这个张量从哪来」。
每个章节目录下都有 01_main-chapter-code/，里面通常是三类：
chXX.ipynb —— 主章节代码，跟着书走gpt.py / gpt_train.py 之类 —— 把 notebook 收敛成可直接跑的脚本（README 表里标 summary 的那些）exercise-solutions.ipynb —— 练习解答想省时间就跑脚本；想看懂就一行行走 notebook。
README 把 扎实的 Python 功底列为最重要的前提。有深度神经网络经验会更好，但不是必需。
PyTorch 这边：不要求精通，但熟悉基础有用。完全没碰过就先读附录 A（appendix-A/01_main-chapter-code/），它分两部分讲张量到多 GPU 训练，是精简版入门。
硬件反而不是门槛：主章节代码设计成在普通笔记本上就能在合理时间内跑完，检测到 GPU 会自动用上。这和那些要求 A100 的复现仓库完全不同。
环境别自己猜，仓库里有专门的 setup/README.md，还有 setup/03_optional-docker-environment 给想用 Docker 的人。
每章都有练习，三条路径：
exercise-solutions.ipynb —— 各章目录下的可运行解答读完一章就做那一章的题，比连读三章再做有用得多。
主线走完后，这些 bonus 材料含金量很高：
ch02/05_bpe-from-scratch/ —— 从零写 BPE 分词器ch04/03_kv-cache —— KV Cachech04/04_gqa、05_mla、06_swa、09_dsa —— grouped-query / 多头潜在 / 滑动窗口 / DeepSeek 稀疏注意力ch04/07_moe —— 混合专家ch05/07_gpt_to_llama 与 ch05/11_qwen3/、12_gemma3/ —— 把 GPT 改成 Llama，以及从零写 Qwen3、Gemma 3这批内容是主线之外最能建立「架构直觉」的部分。
续作是《Build A Reasoning Model (From Scratch)》（仓库 rasbt/reasoning-from-scratch），它从预训练模型出发，实现推理时扩展、强化学习与蒸馏。
顺序应该是：先走完本仓库主线（搞清模型怎么搭、怎么训），再进那本（搞清怎么让它会推理）。
这不是一个能 pip install 然后拿去干活的库，也没有推理优化、服务化、量化这些工程内容。它解决的是唯一一件事：让你知道 LLM 内部到底在做什么。想要能用的东西，读完第 4 章之后去看推理框架。