题库自测 · 随机模考

自测用虚拟环境（venv/conda）最主要是为了：

自测形状 (4,1) 与 (1,3) 的数组相加，结果形状是：

自测(32×512) 的矩阵乘 (512×64)，结果形状是：

自测训练语言模型最小化交叉熵，本质是让模型：

自测L=(w−3)²，w=0，η=0.1，一步梯度下降后 w=？

自测PyTorch 里 requires_grad=True 的张量，调用 loss.backward() 后：

自测训练循环里 optimizer.zero_grad() 的作用是：

自测机器学习标准流程顺序是：

自测关于数据清洗与数据工程，正确的是：

自测下列描述正确的是：

自测关于交叉验证与过拟合，正确的是：

自测TP=8, FP=2, FN=4，召回率约为：

自测关于 AUC，正确的是：

自测这个文本分类项目里，用来报告「最终泛化能力」的应该是：

自测关于自然语言的特点，下列说法错误的是：

自测与图像相比，自然语言作为模型输入最显著的形态区别是：

自测BPE 子词分词最主要解决了什么问题？

自测关于大语言模型的优势与局限，正确的是：

自测按时间先后排列正确的是：

自测下列说法错误的是：

自测最符合 KM 扩展法则核心观点的是：

自测Chinchilla 扩展法则的核心启示是：

自测关于注意力机制，正确的是：

自测softmax 之后，三个注意力权重满足：

自测变式（换数字再算）：两个词打分 s=[3, 1]（dₖ=1，忽略缩放），softmax 后第一个词的注意力权重约为：

自测自注意力与交叉注意力的核心区别是：

自测d_model=512、8 个头，每个头的维度 dₖ 是：

自测RoPE 对 Query 的旋转变换，正确的是：

自测变式（换数字再算）：把一对分量 (x_even, x_odd)=(0, 1) 旋转 90°（cos=0, sin=1），结果是：

自测关于 Transformer 一层的结构，正确的是：

自测关于三种架构，正确的是：

自测关于归一化与激活配置，正确的是：

自测变式（换数字再算）：x=[1, 2, 2]，RMS(x)=√(mean(x²)) 约为：

自测MQA / GQA / MLA 的共同目的是：

自测变式（换数字再算）：MHA 有 32 个查询头，改用 GQA 让每 4 个查询头共享 1 套 K/V，则 KV 缓存相比 MHA 约降为：

自测关于 MoE，正确的是：

自测语言模型的极大似然训练，等价于最小化：

自测下列属于自监督预训练任务的是：

自测BERT 的预训练任务本质是：

自测若语言模型的平均交叉熵损失为 0（自然对数），其困惑度为：

自测预训练数据「去重」最主要的作用是：

自测梯度累积的作用是：

自测样本 8000、全局批 32、训练 5 个 epoch，总更新步数约为：

自测学习率预热(warm-up)主要解决：

自测AdamW 相比 Adam 的主要改进是：

自测梯度裁剪(gradient clipping)的作用是：

自测关于 BF16 与 FP16，正确的是：

自测用 N≈12·L·d² 估算，d=2048、L=32 的模型主体参数约为：

自测变式（换数字再算）：用 N≈12·L·d² 估算，d=1536、L=28 的模型主体参数约为：

自测MoE 模型的「激活参数」决定的是：

自测变式（换数字再算）：共享部分 1B、单专家 0.4B、专家数 E=32、Top-2，激活参数约为：

自测训练一个 3B 参数模型、过 500B token，训练 FLOPs 约为：

自测变式（换数字再算）：用 6ND 估算，N=1.3B、D=300B token 的训练 FLOPs 约为：

自测混合精度+Adam 训练，约需多少字节/参数（不含激活）？

自测变式（换数字再算）：混合精度+Adam 训练一个 3B 参数模型，静态显存(不含激活)约为：

自测梯度检查点(激活重计算)的核心权衡是：

自测ZeRO 相比朴素数据并行，主要优势是：

自测张量并行(Tensor Parallelism)切分的是：

自测融合算子(fused kernel)提速的主要原因是：

自测训练 mini-GPT 时，判断「训得对不对」最直接的内在指标是：

自测指令微调(SFT)相比预训练，主要变化是：

自测Self-Instruct 方法的核心思想是：

自测关于指令微调数据，正确的是：

自测「数据课程(curriculum)」策略指的是：

自测SFT 训练时对指令(instruction)部分通常：

自测参数高效微调(PEFT)最主要省下的显存是：

自测LoRA 中 W' = W + BA，被训练的是：

自测变式（换数字再算）：LoRA 作用于 d=k=2048 的权重、秩 r=16，可训练参数约为：

自测提示微调(Prompt Tuning)训练的是：

自测LoRA 微调跑通后，一个合格的信号是：

自测人类对齐的经典 3H 标准是：

自测现代对齐最常用的人类反馈形式是：

自测RLHF 中 PPO 阶段加 KL 惩罚，主要为了：

自测奖励模型的成对损失 −log σ(r(y_w)−r(y_l)) 的目标是：

自测DPO 相比 RLHF 的最大区别是：

自测变式（换数字再算）：β=1，chosen 的对数概率比 log(π_θ/π_ref)=+0.5、rejected=−0.5，则 DPO 损失 −logσ(括号内) 约为：

自测关于大模型幻觉，正确的是：

自测在这条对齐流水线里，DPO 通常放在哪一步之后进行？

自测束搜索(beam search)相比贪心搜索：

自测把采样温度 T 调低（趋近 0），生成会：

自测KV 缓存(KV cache)的作用是：

自测batch=4、每请求生成 100 token、总耗时 2 秒，吞吐量为：

自测推测解码(speculative decoding)的核心思想是：

自测FlashAttention 提速省显存的关键在于：

自测vLLM 吞吐高的主要原因是：

自测一个 13B 参数模型用 INT4 量化，权重显存约为：

自测变式（换数字再算）：一个 34B 参数模型用 INT8 量化，权重显存约为：

自测知识蒸馏(distillation)的核心是：

自测大模型自回归解码阶段常见的瓶颈是：

自测关于提示工程，正确的是：

自测要让程序稳定解析模型输出，提示里最好：

自测上下文学习(ICL)的关键特征是：

自测思维链(CoT)提示提升推理的原因是：

自测RAG 中用 masked mean pooling 求句向量，mask 的作用是：

自测这个「量化部署 + RAG」应用中，RAG 主要解决的问题是：

自测「基于已知前提推出新结论」属于：

自测长思维链模型「测试时计算扩展」指的是：

自测「思维链蒸馏」训练推理模型的做法是：

自测结果奖励模型(ORM)与过程奖励模型(PRM)的区别是：

自测自洽(self-consistency)提升推理准确率的做法是：

自测智能体的 profile 设置主要用来：

自测智能体的「显式记忆」通常指：

自测智能体工具调用中，对模型输出的 JSON 参数做 schema 校验，主要为了：

自测多智能体系统里「角色分工(规划者/执行者/评审者)」的目的是：

自测「世界模型(world model)」在智能体中的作用是：

自测「基于模型评估(LLM-as-a-judge)」的特点是：

自测评测「排序/检索质量」且考虑相关性与位置的指标是：

自测「数据污染(data contamination)」指的是：

自测差分隐私(differential privacy)的核心思想是：

自测下列关于高频考点，错误的是：

自测d=1024、L=12 的模型，用 FP16 部署，权重显存约为：

自测MoE 路由里，把 logits 变成专家概率分布应使用：

自测第二轮编程「手写带因果掩码的注意力」时，最容易丢分的一步是：

自测某分类器 TP=6, FP=2, FN=2，其 F1 约为：

自测验证集(validation set)的正确用途是：

自测用 N≈12·L·d² 估算，d=1024、L=24 的模型主体参数约为：

自测上下文学习(ICL)与微调(fine-tuning)的本质区别是：

自测混合精度+Adam 训练一个 1B 参数模型，静态显存(不含激活)约为：

自测样本 48000、单卡批 8、梯度累积 3、卡数 2、训练 2 个 epoch，总更新步数约为：

自测LoRA 作用于 d=k=1024 的权重、秩 r=16，可训练参数约为：

自测DPO 相比 RLHF(PPO)，最关键的简化是：

自测一个 7B 参数模型用 INT4 量化，权重显存约为：

自测大模型自回归解码(decode)阶段通常的性能瓶颈是：

自测评测中的「数据污染(data contamination)」指：

自测结果奖励模型(ORM)与过程奖励模型(PRM)的区别是：