解码 · 部署 · 应用模块八 · 上下文学习概念约 11 分钟
上下文学习:不训练也能学新任务
示例放进提示里,模型就会了
学完这节你能:
- 定义上下文学习(ICL)
- 区分 zero/few-shot
- 了解其底层机制的直觉
上下文学习(In-Context Learning):不更新任何权重,只在提示里给几个「输入→输出」示例,模型就能照着完成新任务。这是大模型的核心涌现能力(回顾 Stage 1)。
- zero-shot:只给指令,不给示例。
- few-shot:给几个示范样例,触发模型模仿其模式。
- 机制直觉:模型在预训练中见过海量「模式」,提示中的示例相当于「指认」该用哪种模式,在前向过程中隐式地完成了一次「类比推理」,权重不变。
🔑 关键:ICL 不改权重、只在推理时发生。这和「微调」有本质区别——微调改参数、ICL 改上下文。
自测上下文学习(ICL)的关键特征是:
// 带走一句话
上下文学习=提示里给示例、不改权重就学会新任务(zero/few-shot);与微调本质不同:改上下文而非改参数。
独立练习
做到这些,才算完成本节
- 合上正文,用自己的话解释核心概念。
- 写出一个相似概念,并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。