适配与对齐模块五 · 指令数据集的构建概念约 11 分钟
数据质量与清洗：过滤、去偏、泛化
为什么「少而精」常胜过「多而杂」
学完这节你能：
- 理解指令数据质量比数量更关键
- 了解常见过滤维度
- 认识数据与泛化的关系
SFT 阶段有个反直觉的经验：几千条高质量、多样的指令，往往胜过几十万条低质重复数据。质量、多样性、难度分布决定泛化。
- 质量过滤：剔除答非所问、事实错误、格式混乱、有害内容。
- 去重与去偏：删近似重复；平衡任务类型、领域、语言，避免偏科。
- 难度与多样性：覆盖不同复杂度和情境，提升对新指令的泛化。
🔑 记住「LIMA 假说」的直觉：知识主要在预训练学到，SFT 只是教「用什么风格/格式把知识拿出来」，所以少量高质量对齐数据就足够，堆量反而引入噪声。
自测关于指令微调数据，正确的是：
// 带走一句话
SFT 数据质量>数量：过滤低质、去重去偏、保多样与难度分布；知识在预训练，SFT 教「怎么表达」。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。