完整学习路线

6 学段 · 102 课次 · 长期开放

每一段以能力就绪为准推进,后一段以前一段为地基。每节课标注大纲模块定位与考核方式(概念 / 公式 / 代码 / 计算 / 项目)。

概念 概念理解公式 公式 / 推导代码 代码实现/填空计算 计算项目 项目
0

地基 · 数学与工程

读得懂公式、写得出训练循环
14 课次 · 一个阶段实验
模块一 + 工程数学

面向来自不同专业、基础参差的大学生,用两三周补齐三样东西:能读公式、能写 PyTorch 训练循环、懂机器学习流程与评测指标。已修过机器学习 / 深度学习的同学可只做指标与项目验收,直接跳 Stage 1。

工程与数学地基(7 课次)
1环境与工具链:Python · Jupyter · Git · uv/conda代码· 可学
2NumPy 与张量思维:向量化 · 广播代码· 可学
3线性代数速修:矩阵乘 · 范数 · 正交公式· 可学
4概率与信息论:期望 · 交叉熵 · KL 散度公式· 可学
5微积分与梯度:链式法则 · 梯度下降手算计算· 可学
6PyTorch 入门:张量 · autograd · nn.Module代码· 可学
7训练循环骨架:DataLoader · 损失 · 反向传播代码· 可学
模块一 · 机器学习基础(7 课次)
8机器学习流程:预处理 → 训练 → 验证 → 测试一·机器学习流程概念· 可学
9数据工程:清洗 · 变换 · 特征一·机器学习流程概念· 可学
10监督 / 无监督 / 自监督:分类回归 vs 聚类一·概念定义概念· 可学
11过拟合与泛化:交叉验证 · 偏差-方差一·验证及评测概念· 可学
12分类指标:混淆矩阵 · 精确率 / 召回率 / F1一·验证及评测计算· 可学
13ROC 与 AUC:阈值 · TPR / FPR一·验证及评测计算· 可学
14阶段项目:用 PyTorch 训一个文本分类器跑通全流程一 综合项目· 可学
1

语言模型与架构

Transformer 到底长什么样
18 课次 · 一个阶段实验
模块二 · 三

从「语言为什么难」讲到「Transformer 的每一块砖」。成人组在这里加了扩展法则、涌现能力,以及架构的详细配置、MoE、长上下文、高效注意力(MQA/GQA/MLA)——第一轮样题的 RoPE、MoE 路由代码填空都出自这一段。坚持先小 N 手算注意力,再用 PyTorch 复现。

模块二 · 大模型基础概念(8 课次)
1自然语言的特点:离散性 · 歧义性 · 序列性二·自然语言概念· 可学
2语言 vs 图像 / 代码:离散序列 vs 密集像素二·自然语言概念· 可学
3分词与词元:BPE · 词表 · tokenization二·基本定义代码· 可学
4大语言模型定义:生成与理解范式二·基本定义概念· 可学
5四代语言模型:N-gram → RNN → 预训练 → LLM二·发展历程概念· 可学
6关键里程碑:GPT / BERT / DeepSeek · Decoder vs Encoder-only二·发展现状概念· 可学
7扩展法则:KM 幂律 Loss ~ N / D / C二·扩展法则计算· 可学
8Chinchilla 计算最优 · 涌现能力 / 上下文学习二·扩展法则 / 代表能力计算· 可学
模块三 · 模型架构(10 课次)
9注意力机制:Query-Key-Value · 点积 · softmax三·注意力公式· 可学
10手算注意力:小 N 打分 → 归一化 → 加权求和三·注意力计算· 可学
11自注意力 vs 交叉注意力:同源与异源三·注意力概念· 可学
12多头注意力:子空间投影 · 拼接(numpy 复现)三·注意力代码· 可学
13位置编码:绝对 / 正弦 / 相对 · RoPE 旋转三·Transformer 结构公式代码· 可学
14Transformer 全貌:残差 · 归一化 · FFN · 编解码器三·Transformer 结构代码· 可学
15三大架构:编码器-解码器 / 因果 / 前缀解码器三·主流架构概念· 可学
16详细配置:LayerNorm vs RMSNorm · Pre/Post-Norm · GELU/Swish三·详细配置公式· 可学
17高效注意力:MQA · GQA · MLA · KV 缓存 · 稀疏 / 线性注意力三·高效注意力概念· 可学
18MoE 与长上下文:稀疏激活 / 路由 / 负载均衡 · ALiBi / 窗口拓展三·MoE / 长上下文代码· 可学
2

预训练工程

大规模训练怎么算
20 课次 · 一个阶段实验
模块四

成人组最工程化、计算题最密集的一段。参数量、FLOPs / 训练时间、显存三大计算是必考硬骨头;3D 并行、混合精度、FSDP 是理解大规模训练的钥匙。阶段项目从零训练一个 mini-GPT,把架构与优化真正打通。

学习目标与自监督(4 课次)
1极大似然与语言建模:MLE · 交叉熵损失四·回归分析公式· 可学
2自监督学习:对比学习 · 掩码预测 · 自回归四·自监督概念· 可学
3预训练任务:下一词元预测 vs 去噪自编码(MLM)四·预训练任务概念· 可学
4困惑度与语言建模损失四·预训练任务计算· 可学
优化设置(7 课次)
5数据管线:清洗 · 去重 · 配比 · tokenize四·批次训练代码· 可学
6Batch / Batch Size / 梯度累积四·批次训练概念· 可学
7epoch 与参数更新步数四·批次训练计算· 可学
8学习率:预热 Warm-up · 衰减 · Cosine四·学习率代码· 可学
9优化器:SGD · Adam · AdamW · 权重衰减四·优化器代码· 可学
10稳定优化:梯度裁剪 · 训练恢复 · 损失尖峰四·稳定优化概念· 可学
11训练精度:FP32 / FP16 / BF16 · 混合精度四·训练精度概念· 可学
规模与资源计算(5 课次)
12参数量计算:Transformer 参数量公式四·参数量计算计算· 可学
13MoE 参数量:激活参数 vs 总参数四·参数量计算计算· 可学
14训练算力与时间:FLOPs · 6ND 估算四·训练运算量计算· 可学
15训练显存计算:参数 / 梯度 / 优化器态 / 激活四·训练显存计算· 可学
16显存优化:梯度检查点 · 激活重计算四·高效训练概念· 可学
并行训练与项目(4 课次)
17数据并行与 ZeRO四·并行训练概念· 可学
18流水线并行 · 张量并行(3D 并行)四·并行训练概念· 可学
19高效训练:FSDP · 融合算子 · 通信优化四·高效训练概念· 可学
20阶段项目:从零训练一个 mini-GPT(nanoGPT 级)四 综合项目· 可学
3

适配与对齐

让底座听话且安全
16 课次 · 一个阶段实验
模块五 · 六

把预训练好的底座变成「听指令、且无害有用诚实」的模型。成人组把 PEFT(LoRA / adapter / prefix / prompt)、DPO 与奖励模型都纳入必修——LoRA 微调与 DPO 对齐是本段两个动手核心。

模块五 · 指令微调(9 课次)
1指令微调总览:指令数据 · 指令遵循 · SFT五·指令微调概念· 可学
2指令数据集构建:种子扩展 · Self-Instruct · 进化算法五·数据集构建概念· 可学
3数据质量与清洗:过滤 · 去偏 · 与泛化的关系五·数据集构建概念· 可学
4数据组织策略:长短指令 · 数据课程 · 多阶段混合五·数据组织概念· 可学
5微调优化设置:目标函数 · 批次 · 多指令合并五·微调优化公式· 可学
6全参微调 vs 高效微调:显存与成本权衡五·参数高效微调概念· 可学
7LoRA:低秩适配原理与推导五·参数高效微调公式· 可学
8Adapter · 前缀微调 · 提示微调五·参数高效微调概念· 可学
9动手:用 LoRA 微调一个开源小模型五 综合项目· 可学
模块六 · 人类对齐(7 课次)
10人类对齐背景与 3H 标准:无害 / 有用 / 诚实六·对齐标准概念· 可学
11偏好数据收集:评分式 · 排序式 · 偏差修正六·偏好反馈概念· 可学
12RLHF 概览:奖励模型 + PPO 流程六·对齐方法概念· 可学
13奖励模型训练:打分 / 对比 / 排序损失六·奖励模型公式· 可学
14DPO:公式与算法推导 · 与 RLHF 对比六·非 RL 对齐公式· 可学
15幻象:概念 · 分类 · 起因与缓解六·幻象概念· 可学
16阶段项目:SFT + DPO 迷你对齐流水线五·六 综合项目· 可学
4

解码 · 部署 · 应用

跑得快、装得下、用得好
16 课次 · 一个阶段实验
模块七 · 八

成人组在解码与部署里加了 vLLM、推测解码、FlashAttention / PagedAttention 与量化 / 蒸馏 / 剪枝;提示学习里加了上下文学习、思维链、RAG。量化显存与推理吞吐量是本段计算重点。阶段项目把量化部署 + RAG 问答系统串起来。

模块七 · 解码与部署(10 课次)
1解码方法:贪心 · 束搜索(超参调优)七·解码方法概念· 可学
2随机采样:温度 · top-k · top-p七·随机采样代码· 可学
3全量解码 vs 增量解码:KV 缓存七·解码加速概念· 可学
4解码效率指标:吞吐量 token/s · 延迟七·解码加速计算· 可学
5解码加速:推测解码 · 非自回归 · 早退 · 级联七·解码加速概念· 可学
6系统级优化:FlashAttention · PagedAttention · 批次管理七·解码加速概念· 可学
7推理工具 vLLM 实践七·解码加速代码· 可学
8量化:对称 / 非对称 · 粒度 · INT8 / INT4 · 显存估算七·低资源部署计算· 可学
9模型压缩:蒸馏 · 剪枝 · 量化对比七·模型压缩概念· 可学
10资源管理:瓶颈分析 · 调度 · 软硬协同七·资源管理概念· 可学
模块八 · 提示学习(6 课次)
11提示工程:目的 · 场景 · 清晰与上下文八·提示工程概念· 可学
12人工提示设计:模板 · 技巧 · 自动化方法八·人工提示代码· 可学
13上下文学习:定义 · 模板 · 底层机制八·上下文学习概念· 可学
14思维链提示:基本形式 · 优化策略 · 基础原理八·思维链概念· 可学
15检索增强 RAG:编码 / 索引 / 相似度 / masked mean pooling八·检索增强代码· 可学
16阶段项目:量化部署 + RAG 问答系统七·八 综合项目· 可学
5

推理 · 评测 · 冲刺

前沿收口 + 两轮认证冲刺
18 课次 · 一个阶段实验
模块九 ~ 十二 + 冲刺

收口段。先把前沿的推理模型训练(SFT / RL / 搜索)、智能体、系统评测、伦理与安全补齐,再用两轮冲刺对齐认证:第一轮客观题(概念 + 计算 + 代码填空),第二轮编程实战。计算题专项与代码填空专项是最容易失分的地方。

模块九 · 复杂推理(5 课次)
1认知推理:感知 / 认知 / 推理的区别九·认知推理概念· 可学
2长思维链模型:逻辑 / 因果 / 数学 / 代码 / 科学任务九·长思维链概念· 可学
3SFT 推理训练:长思维链数据构建与指令蒸馏九·SFT 推理训练概念· 可学
4RL 推理训练:结果奖励 vs 过程奖励 · 探索策略九·RL 推理训练概念· 可学
5搜索推理:Self-consistency · Tree-of-Thoughts九·基于搜索的推理代码· 可学
模块十 · 智能体(5 课次)
6智能体总览:profile 设置 · 角色一致性十·profile概念· 可学
7记忆机制:显式 / 隐式记忆 · 存储读取 · 遗忘十·记忆机制概念· 可学
8工具使用:工具检索 · 调用优化 · JSON schema 校验十·工具使用代码· 可学
9多智能体:通信结构 · 组件优化 · 人机协作十·多智能体概念· 可学
10交互环境与应用:世界模型 · WebGPT · 斯坦福小镇 · 框架搭建十·交互环境 / 应用概念· 可学
模块十一 · 十二 · 评测与伦理(4 课次)
11评测流程与范式:数据划分 · 基准 / 人类 / 模型评估十一·评测流程概念· 可学
12评测指标:F1 / 困惑度 / BLEU / ROUGE / NDCG十一·评测指标计算· 可学
13公开评测集:MMLU · C-Eval · HELM · 数据污染十一·公开评测集概念· 可学
14模型偏见 · 隐私(差分隐私)· 数据安全与合规十二·伦理与安全概念· 可学
两轮冲刺(4 课次)
15第一轮套题:12 模块概念速通 + 逐题诊断全部模块概念· 可学
16计算题专项:扩展法则 / 参数量 / FLOPs / 显存 / 吞吐 / NDCG二·四·七·十一计算· 可学
17代码填空专项:RoPE / MoE / 注意力 / LoRA / RAG三·四·五·八代码· 可学
18第二轮编程实战 + 全真模考复盘全部模块项目· 可学
路线看完了,下一步是开始记录
进入学习中心,从第一节未完成课程继续。
练习自测进入学习中心