语言模型与架构模块二 · 自然语言的基础概念概念约 10 分钟
语言 vs 图像 / 代码：离散序列 vs 密集像素
为什么文本要先「数字化」成 token，而不是直接喂进去
学完这节你能：
- 对比语言与图像在数据形态上的根本区别
- 理解「离散 vs 密集」如何影响模型设计
同样是喂给模型，图像和语言在底层长得完全不一样。看清这一点，才明白为什么语言模型要先「分词」再「查表变向量」。
| 维度 | 图像 | 自然语言 |
|---|---|---|
| 底层形态 | 密集的像素数值矩阵（连续） | 离散符号序列（一个个 token） |
| 结构 | 空间结构（上下左右邻近） | 时序结构（前后顺序） |
| 冗余度 | 较高（相邻像素相似） | 较低（每个词都携带信息） |
| 进模型前 | 本身就是数值，可直接张量化 | 必须先离散化、再映射成向量（embedding） |
🔑 关键区别一句话：图像是「密集的数值分布」，自然语言是「离散的符号序列」。两者进计算机都要变成数字/张量——区别在于语言多一步「把符号映射成向量」。
▪ 同样一条输入，两种形态
一张 224×224×3 的图 ≈ 15 万个连续像素数值（密集矩阵）
一句「今天天气很好」≈ 5~6 个离散 token id（离散序列）
图像可直接当数值张量喂入；文本要先分词、再查表变成向量
自测与图像相比，自然语言作为模型输入最显著的形态区别是：
// 带走一句话
图像=密集连续像素（空间结构）；语言=离散符号序列（时序结构），进模型前要先分词再变向量。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。