解码 · 部署 · 应用模块七 · 解码方法概念约 12 分钟
解码方法:贪心搜索与束搜索
模型算出概率后,怎么「选词」说出来
学完这节你能:
- 理解解码是从概率分布选 token
- 区分贪心与束搜索
- 了解束宽的权衡
模型每步输出的是「下一个词的概率分布」。把它变成实际文本的过程叫解码。最基础的两种是贪心和束搜索。
- 贪心搜索:每步都选概率最高的那个词。快,但只顾眼前局部最优,容易错过整体更好的句子。
- 束搜索(beam search):每步保留 top-b 条候选序列(束宽 b),最后选整体概率最高的。更接近全局最优。
- 束宽权衡:b 越大质量可能越好但越慢;b=1 就退化成贪心。
🔑 贪心/束搜索是「确定性」解码,倾向输出高概率、稳妥但可能乏味的文本,适合翻译、摘要这类有「标准答案」的任务;开放式创作则更需要下一节的随机采样。
自测束搜索(beam search)相比贪心搜索:
// 带走一句话
解码=从概率分布选词;贪心(每步选最高,局部最优)、束搜索(留 b 条候选,近全局),都偏确定性、适合有标准答案任务。
独立练习
做到这些,才算完成本节
- 合上正文,用自己的话解释核心概念。
- 写出一个相似概念,并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。