预训练工程模块四 · 自监督学习概念约 12 分钟
自监督学习：对比、掩码、自回归
不用人工标注，从数据里自己造题
学完这节你能：
- 理解自监督为什么能规模化
- 区分三种自监督范式
- 对上代表模型
监督学习卡在「标注贵」。自监督的天才之处：从数据本身自动构造监督信号，于是海量无标注数据都能拿来训练。
| 范式 | 怎么造题 | 代表 |
|---|---|---|
| 自回归 | 遮住后文，预测下一个词 | GPT 系 |
| 掩码预测 | 随机盖住句中若干词，还原它们 | BERT (MLM) |
| 对比学习 | 拉近相似样本、推远不相似样本 | SimCLR / 句向量模型 |
🔑 自监督 vs 无监督：自监督其实是「用数据自造标签的监督学习」，有明确的预测目标；无监督（如聚类）则完全没有目标标签。
自测下列属于自监督预训练任务的是：
// 带走一句话
自监督=从数据自造标签：自回归(预测下一词)、掩码(完形填空)、对比(拉近推远)，让海量无标注数据可用。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。