基于 MiniMind 项目，用约 4600 行代码，完整走一遍现代大语言模型的训练全流程。 不依赖任何黑盒框架，每一行代码都看得见、改得动、跑得通。
按顺序学习，或跳到你最感兴趣的阶段。每章都是自包含的交互式幻灯片。
阅读本项目代码所需的一切前置知识：Python 语法、PyTorch 核心概念、必要的数学基础。
文本如何变成数字？BPE 算法、词表构建、Chat Template 对话格式化——连接人类语言与机器语言的第一座桥。
逐行读懂 model_minimind.py —— 287 行代码浓缩 Transformer、RoPE、GQA、KV-Cache、MoE 全部精华。
Next Token Prediction —— 让模型阅读大量文本，学会"根据前文预测下一个字"。这是所有 LLM 的基础能力。
把预训练模型微调为对话模型。关键技巧：Label Masking —— 只在 assistant 回答的部分计算 loss。
只训练 4% 的参数，就能获得接近全量微调的效果。低秩分解旁路的原理与实现。
用大模型（教师）的输出分布来指导小模型（学生）训练。温度缩放暴露"暗知识"。
不需要奖励模型，直接用偏好数据（好/差回答对）对齐模型。Bradley-Terry 模型实战。
RLHF 的两种主流算法：GRPO 用组内相对优势简化训练；PPO 用 Actor-Critic 架构精确优化。
训练模型学会使用外部工具——计算器、天气查询、翻译。多轮 Rollout + 工具执行模拟。
训练好的模型如何变成可用的服务：命令行对话、OpenAI 兼容 API、Web 聊天界面。