📈 挑模型的活交给验证集

训练集上把参数估出来，验证集上比较候选模型，选定之后把训练集和验证集合起来重估一次，测试集留到最后做一次泛化评估。这条顺序里，每一块数据都有自己的岗位。

训练误差一直往下掉，只说明模型越来越贴着训练数据走。它没办法替你完成挑选这个动作。

比如手里有三个复杂度不同的候选，直接拿测试集挨个跑一遍，再挑出误差最小的那个。这样会提前用掉测试集，选出来的模型看着不错，剩下的数字已经没法独立说明它换一批新数据还行不行。

📌 验证集负责挑，测试集负责最后那一次评估。测试集提前拿去比候选模型，最后就没有一块干净的数据说明泛化表现了。

顺着这个分工再看一眼，模型复杂度合适到什么程度，就放在这一环回答。

⚙️ 问参数怎么求，就写估参动作

高斯误差下，最大化对数似然和最小化 RSS 会走到同一个地方，OLS 和 MLE 给出同一组参数估计。这两个名字底下是一件事，可以沿同一条推导理解。解析解需要设计矩阵满足条件；当解析解不便直接使用，或数据规模带来计算压力时，也可以用梯度下降沿着负梯度一步一步找参数。

梯度下降回答的是给定这个模型，参数怎么找出来。过拟合放在候选模型之间挑哪一个的环节。⚠️ 两个位置挨得很近，题目问优化却把 answer 写成过拟合，整道题就会白算。

🧮 数据装不下的时候才轮到 SGD

大样本带来的压力落在计算上。SGD 每次用单个样本的梯度近似全梯度，把一次更新的代价压下来；分治把数据切成块分别算，再把结果合起来。这两个动作都在解决算得动的问题，模型怎么写、变量怎么放，前面已经定完了。

✅ 做题和 review 的时候，可以按这几行自己过一遍：

• 先圈出题目落在哪一环，再动笔
• 把要用的公式、图和算法，归到那一环名下
• 复杂度的话题留在选模那一环，优化只回答参数怎么求

🔁 把每个概念放回它所在的那一环，从模型写法一路走到大样本计算，跨周 review 就有了同一条检查顺序。