6 学段 · 102 课次 · 长期开放
每一段以能力就绪为准推进,后一段以前一段为地基。每节课标注大纲模块定位与考核方式(概念 / 公式 / 代码 / 计算 / 项目)。
地基 · 数学与工程
模块一 + 工程数学
面向来自不同专业、基础参差的大学生,用两三周补齐三样东西:能读公式、能写 PyTorch 训练循环、懂机器学习流程与评测指标。已修过机器学习 / 深度学习的同学可只做指标与项目验收,直接跳 Stage 1。
| 1 | 环境与工具链:Python · Jupyter · Git · uv/conda | 代码· 可学 |
| 2 | NumPy 与张量思维:向量化 · 广播 | 代码· 可学 |
| 3 | 线性代数速修:矩阵乘 · 范数 · 正交 | 公式· 可学 |
| 4 | 概率与信息论:期望 · 交叉熵 · KL 散度 | 公式· 可学 |
| 5 | 微积分与梯度:链式法则 · 梯度下降手算 | 计算· 可学 |
| 6 | PyTorch 入门:张量 · autograd · nn.Module | 代码· 可学 |
| 7 | 训练循环骨架:DataLoader · 损失 · 反向传播 | 代码· 可学 |
| 8 | 机器学习流程:预处理 → 训练 → 验证 → 测试 | 一·机器学习流程概念· 可学 |
| 9 | 数据工程:清洗 · 变换 · 特征 | 一·机器学习流程概念· 可学 |
| 10 | 监督 / 无监督 / 自监督:分类回归 vs 聚类 | 一·概念定义概念· 可学 |
| 11 | 过拟合与泛化:交叉验证 · 偏差-方差 | 一·验证及评测概念· 可学 |
| 12 | 分类指标:混淆矩阵 · 精确率 / 召回率 / F1 | 一·验证及评测计算· 可学 |
| 13 | ROC 与 AUC:阈值 · TPR / FPR | 一·验证及评测计算· 可学 |
| 14 | 阶段项目:用 PyTorch 训一个文本分类器跑通全流程 | 一 综合项目· 可学 |
语言模型与架构
模块二 · 三
从「语言为什么难」讲到「Transformer 的每一块砖」。成人组在这里加了扩展法则、涌现能力,以及架构的详细配置、MoE、长上下文、高效注意力(MQA/GQA/MLA)——第一轮样题的 RoPE、MoE 路由代码填空都出自这一段。坚持先小 N 手算注意力,再用 PyTorch 复现。
| 1 | 自然语言的特点:离散性 · 歧义性 · 序列性 | 二·自然语言概念· 可学 |
| 2 | 语言 vs 图像 / 代码:离散序列 vs 密集像素 | 二·自然语言概念· 可学 |
| 3 | 分词与词元:BPE · 词表 · tokenization | 二·基本定义代码· 可学 |
| 4 | 大语言模型定义:生成与理解范式 | 二·基本定义概念· 可学 |
| 5 | 四代语言模型:N-gram → RNN → 预训练 → LLM | 二·发展历程概念· 可学 |
| 6 | 关键里程碑:GPT / BERT / DeepSeek · Decoder vs Encoder-only | 二·发展现状概念· 可学 |
| 7 | 扩展法则:KM 幂律 Loss ~ N / D / C | 二·扩展法则计算· 可学 |
| 8 | Chinchilla 计算最优 · 涌现能力 / 上下文学习 | 二·扩展法则 / 代表能力计算· 可学 |
| 9 | 注意力机制:Query-Key-Value · 点积 · softmax | 三·注意力公式· 可学 |
| 10 | 手算注意力:小 N 打分 → 归一化 → 加权求和 | 三·注意力计算· 可学 |
| 11 | 自注意力 vs 交叉注意力:同源与异源 | 三·注意力概念· 可学 |
| 12 | 多头注意力:子空间投影 · 拼接(numpy 复现) | 三·注意力代码· 可学 |
| 13 | 位置编码:绝对 / 正弦 / 相对 · RoPE 旋转 | 三·Transformer 结构公式代码· 可学 |
| 14 | Transformer 全貌:残差 · 归一化 · FFN · 编解码器 | 三·Transformer 结构代码· 可学 |
| 15 | 三大架构:编码器-解码器 / 因果 / 前缀解码器 | 三·主流架构概念· 可学 |
| 16 | 详细配置:LayerNorm vs RMSNorm · Pre/Post-Norm · GELU/Swish | 三·详细配置公式· 可学 |
| 17 | 高效注意力:MQA · GQA · MLA · KV 缓存 · 稀疏 / 线性注意力 | 三·高效注意力概念· 可学 |
| 18 | MoE 与长上下文:稀疏激活 / 路由 / 负载均衡 · ALiBi / 窗口拓展 | 三·MoE / 长上下文代码· 可学 |
预训练工程
模块四
成人组最工程化、计算题最密集的一段。参数量、FLOPs / 训练时间、显存三大计算是必考硬骨头;3D 并行、混合精度、FSDP 是理解大规模训练的钥匙。阶段项目从零训练一个 mini-GPT,把架构与优化真正打通。
| 1 | 极大似然与语言建模:MLE · 交叉熵损失 | 四·回归分析公式· 可学 |
| 2 | 自监督学习:对比学习 · 掩码预测 · 自回归 | 四·自监督概念· 可学 |
| 3 | 预训练任务:下一词元预测 vs 去噪自编码(MLM) | 四·预训练任务概念· 可学 |
| 4 | 困惑度与语言建模损失 | 四·预训练任务计算· 可学 |
| 5 | 数据管线:清洗 · 去重 · 配比 · tokenize | 四·批次训练代码· 可学 |
| 6 | Batch / Batch Size / 梯度累积 | 四·批次训练概念· 可学 |
| 7 | epoch 与参数更新步数 | 四·批次训练计算· 可学 |
| 8 | 学习率:预热 Warm-up · 衰减 · Cosine | 四·学习率代码· 可学 |
| 9 | 优化器:SGD · Adam · AdamW · 权重衰减 | 四·优化器代码· 可学 |
| 10 | 稳定优化:梯度裁剪 · 训练恢复 · 损失尖峰 | 四·稳定优化概念· 可学 |
| 11 | 训练精度:FP32 / FP16 / BF16 · 混合精度 | 四·训练精度概念· 可学 |
| 12 | 参数量计算:Transformer 参数量公式 | 四·参数量计算计算· 可学 |
| 13 | MoE 参数量:激活参数 vs 总参数 | 四·参数量计算计算· 可学 |
| 14 | 训练算力与时间:FLOPs · 6ND 估算 | 四·训练运算量计算· 可学 |
| 15 | 训练显存计算:参数 / 梯度 / 优化器态 / 激活 | 四·训练显存计算· 可学 |
| 16 | 显存优化:梯度检查点 · 激活重计算 | 四·高效训练概念· 可学 |
| 17 | 数据并行与 ZeRO | 四·并行训练概念· 可学 |
| 18 | 流水线并行 · 张量并行(3D 并行) | 四·并行训练概念· 可学 |
| 19 | 高效训练:FSDP · 融合算子 · 通信优化 | 四·高效训练概念· 可学 |
| 20 | 阶段项目:从零训练一个 mini-GPT(nanoGPT 级) | 四 综合项目· 可学 |
适配与对齐
模块五 · 六
把预训练好的底座变成「听指令、且无害有用诚实」的模型。成人组把 PEFT(LoRA / adapter / prefix / prompt)、DPO 与奖励模型都纳入必修——LoRA 微调与 DPO 对齐是本段两个动手核心。
| 1 | 指令微调总览:指令数据 · 指令遵循 · SFT | 五·指令微调概念· 可学 |
| 2 | 指令数据集构建:种子扩展 · Self-Instruct · 进化算法 | 五·数据集构建概念· 可学 |
| 3 | 数据质量与清洗:过滤 · 去偏 · 与泛化的关系 | 五·数据集构建概念· 可学 |
| 4 | 数据组织策略:长短指令 · 数据课程 · 多阶段混合 | 五·数据组织概念· 可学 |
| 5 | 微调优化设置:目标函数 · 批次 · 多指令合并 | 五·微调优化公式· 可学 |
| 6 | 全参微调 vs 高效微调:显存与成本权衡 | 五·参数高效微调概念· 可学 |
| 7 | LoRA:低秩适配原理与推导 | 五·参数高效微调公式· 可学 |
| 8 | Adapter · 前缀微调 · 提示微调 | 五·参数高效微调概念· 可学 |
| 9 | 动手:用 LoRA 微调一个开源小模型 | 五 综合项目· 可学 |
| 10 | 人类对齐背景与 3H 标准:无害 / 有用 / 诚实 | 六·对齐标准概念· 可学 |
| 11 | 偏好数据收集:评分式 · 排序式 · 偏差修正 | 六·偏好反馈概念· 可学 |
| 12 | RLHF 概览:奖励模型 + PPO 流程 | 六·对齐方法概念· 可学 |
| 13 | 奖励模型训练:打分 / 对比 / 排序损失 | 六·奖励模型公式· 可学 |
| 14 | DPO:公式与算法推导 · 与 RLHF 对比 | 六·非 RL 对齐公式· 可学 |
| 15 | 幻象:概念 · 分类 · 起因与缓解 | 六·幻象概念· 可学 |
| 16 | 阶段项目:SFT + DPO 迷你对齐流水线 | 五·六 综合项目· 可学 |
解码 · 部署 · 应用
模块七 · 八
成人组在解码与部署里加了 vLLM、推测解码、FlashAttention / PagedAttention 与量化 / 蒸馏 / 剪枝;提示学习里加了上下文学习、思维链、RAG。量化显存与推理吞吐量是本段计算重点。阶段项目把量化部署 + RAG 问答系统串起来。
| 1 | 解码方法:贪心 · 束搜索(超参调优) | 七·解码方法概念· 可学 |
| 2 | 随机采样:温度 · top-k · top-p | 七·随机采样代码· 可学 |
| 3 | 全量解码 vs 增量解码:KV 缓存 | 七·解码加速概念· 可学 |
| 4 | 解码效率指标:吞吐量 token/s · 延迟 | 七·解码加速计算· 可学 |
| 5 | 解码加速:推测解码 · 非自回归 · 早退 · 级联 | 七·解码加速概念· 可学 |
| 6 | 系统级优化:FlashAttention · PagedAttention · 批次管理 | 七·解码加速概念· 可学 |
| 7 | 推理工具 vLLM 实践 | 七·解码加速代码· 可学 |
| 8 | 量化:对称 / 非对称 · 粒度 · INT8 / INT4 · 显存估算 | 七·低资源部署计算· 可学 |
| 9 | 模型压缩:蒸馏 · 剪枝 · 量化对比 | 七·模型压缩概念· 可学 |
| 10 | 资源管理:瓶颈分析 · 调度 · 软硬协同 | 七·资源管理概念· 可学 |
| 11 | 提示工程:目的 · 场景 · 清晰与上下文 | 八·提示工程概念· 可学 |
| 12 | 人工提示设计:模板 · 技巧 · 自动化方法 | 八·人工提示代码· 可学 |
| 13 | 上下文学习:定义 · 模板 · 底层机制 | 八·上下文学习概念· 可学 |
| 14 | 思维链提示:基本形式 · 优化策略 · 基础原理 | 八·思维链概念· 可学 |
| 15 | 检索增强 RAG:编码 / 索引 / 相似度 / masked mean pooling | 八·检索增强代码· 可学 |
| 16 | 阶段项目:量化部署 + RAG 问答系统 | 七·八 综合项目· 可学 |
推理 · 评测 · 冲刺
模块九 ~ 十二 + 冲刺
收口段。先把前沿的推理模型训练(SFT / RL / 搜索)、智能体、系统评测、伦理与安全补齐,再用两轮冲刺对齐认证:第一轮客观题(概念 + 计算 + 代码填空),第二轮编程实战。计算题专项与代码填空专项是最容易失分的地方。
| 1 | 认知推理:感知 / 认知 / 推理的区别 | 九·认知推理概念· 可学 |
| 2 | 长思维链模型:逻辑 / 因果 / 数学 / 代码 / 科学任务 | 九·长思维链概念· 可学 |
| 3 | SFT 推理训练:长思维链数据构建与指令蒸馏 | 九·SFT 推理训练概念· 可学 |
| 4 | RL 推理训练:结果奖励 vs 过程奖励 · 探索策略 | 九·RL 推理训练概念· 可学 |
| 5 | 搜索推理:Self-consistency · Tree-of-Thoughts | 九·基于搜索的推理代码· 可学 |
| 6 | 智能体总览:profile 设置 · 角色一致性 | 十·profile概念· 可学 |
| 7 | 记忆机制:显式 / 隐式记忆 · 存储读取 · 遗忘 | 十·记忆机制概念· 可学 |
| 8 | 工具使用:工具检索 · 调用优化 · JSON schema 校验 | 十·工具使用代码· 可学 |
| 9 | 多智能体:通信结构 · 组件优化 · 人机协作 | 十·多智能体概念· 可学 |
| 10 | 交互环境与应用:世界模型 · WebGPT · 斯坦福小镇 · 框架搭建 | 十·交互环境 / 应用概念· 可学 |
| 11 | 评测流程与范式:数据划分 · 基准 / 人类 / 模型评估 | 十一·评测流程概念· 可学 |
| 12 | 评测指标:F1 / 困惑度 / BLEU / ROUGE / NDCG | 十一·评测指标计算· 可学 |
| 13 | 公开评测集:MMLU · C-Eval · HELM · 数据污染 | 十一·公开评测集概念· 可学 |
| 14 | 模型偏见 · 隐私(差分隐私)· 数据安全与合规 | 十二·伦理与安全概念· 可学 |
| 15 | 第一轮套题:12 模块概念速通 + 逐题诊断 | 全部模块概念· 可学 |
| 16 | 计算题专项:扩展法则 / 参数量 / FLOPs / 显存 / 吞吐 / NDCG | 二·四·七·十一计算· 可学 |
| 17 | 代码填空专项:RoPE / MoE / 注意力 / LoRA / RAG | 三·四·五·八代码· 可学 |
| 18 | 第二轮编程实战 + 全真模考复盘 | 全部模块项目· 可学 |