重点课导读
从三节关键课进入知识体系
课程全部免费开放。这三节是注意力、训练工程和参数高效微调的代表内容,适合先建立学习方式,再进入完整路线。
语言模型与架构12 分钟
手算一次注意力:从打分到加权求和
模块三 · 注意力机制
注意力是整个大模型最核心也最容易「背公式却不懂」的一步。这节课不写代码,先用一个 3 个词的短句,把 Query-Key-Value、softmax、加权求和全部手算一遍。
开始阅读 →
预训练工程10 分钟
训练显存到底怎么估:参数、梯度、优化器态、激活
模块四 · 训练显存计算
「这个模型要多大显存才能训练?」是成人组必考的计算题,也是工程里天天遇到的问题。这节课给你一个能上手算的显存清单。
开始阅读 →
适配与对齐9 分钟
LoRA 为什么能用极少参数微调大模型
模块五 · 参数高效微调
全参微调一个大模型显存吃不消。LoRA 只训练两个小矩阵,就能达到接近全参微调的效果——这节课讲清它的原理和为什么省。
开始阅读 →