推理 · 评测 · 冲刺模块九 · 基于搜索的大模型推理代码约 13 分钟
搜索推理:Self-consistency 与思维树
多想几条路,再挑最好的
学完这节你能:
- 理解自洽(self-consistency)投票
- 了解思维树(ToT)搜索
- 认识搜索与效率的权衡
- 自洽(self-consistency):对同一问题采样多条思维链,取出现最多的答案(多数投票)。简单有效。
- 思维树(Tree-of-Thoughts, ToT):把推理组织成树,能扩展多个分支、评估、回溯,像搜索一样找解。
- 权衡:搜索路径越多越可能对,但计算成本线性/指数上升——是准确率与算力的取舍。
自洽多数投票(示意)
answers = [extract(llm(prompt, temperature=0.8)) for _ in range(10)]
final = Counter(answers).most_common(1)[0][0] # 采样多条思维链后投票🔑 都属于「测试时计算扩展」的搜索版:自洽是并行多路径投票,ToT 是带评估与回溯的树搜索。多花推理算力换正确率。
自测自洽(self-consistency)提升推理准确率的做法是:
// 带走一句话
搜索推理=多路径找解:自洽(采样多条思维链投票)、思维树(带评估回溯的树搜索);用算力换准确率。
独立练习
做到这些,才算完成本节
- 在本地运行代码,打印每个关键张量的 shape。
- 关闭示例后从空文件重写核心部分,并补一个异常或边界测试。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。