造工具箱那五周值得单独拎出来看。它们一件件造出来的零件最后拼成同一把工具，后面五周一直在用它。

起点在 Week 5 的 Gram-Schmidt。它一个一个处理向量：每拿到一个新向量，先减掉它在已有方向上的那一部分，剩下的余量归一化成新的一根坐标轴。余量要是变成零向量，说明这个向量已经被前面的方向解释完了，这组向量线性相关，算法当场停下。跑完一遍，你同时拿到两个东西，一个是这组向量线性无关的证明，一个是一组正交归一的基。

到了 Week 7，同一个过程被改写成一句矩阵等式 A = QR，Q 的列正交归一，R 是对角元为正的上三角矩阵。Week 8 接着用它算逆：方阵时 A⁻¹ = R⁻¹Qᵀ，高矩阵时伪逆 A† = R⁻¹Qᵀ，两个式子长得一模一样。解 Ax = b 也就变成固定三步，先分解，再算 Qᵀb，最后回代，全程不用把 A⁻¹ 显式算出来。

Week 9 的最小二乘解 x̂ =（AᵀA）⁻¹Aᵀb，前提是 A 的列线性无关，实际算的时候还是走 QR。Week 11 的多目标问题堆成一个更高的矩阵之后，交给同一个解法。Week 12 换成约束版本，KKT 方程组的形状是正规方程的推广。前四周造一把工具，后五周一直在用它。

💡 认出这条线以后，后半学期的新内容在你眼里会变成同一道题换了外衣。前八周那种一周一个新名词的感觉，从 Week 9 开始就停了。

🧱 这门课最好玩的一个动作，是把新要求接在矩阵底下

顺着这条线往下，重复出现的那个动作叫堆叠。同时要兼顾好几个目标的时候，课上给的做法只有一步：把 k 个目标各自带的权重开根号乘进去，然后竖着摞起来，得到一个更高的 Ã 和一段更长的 b̃，问题就变回一个普通的最小二乘，之前学的 QR 直接拿来用。

同一个动作在后面反复出现，形态换了三次：

• 多个目标各带一个权重，开根号后竖着摞成更高的矩阵，问题变回单目标最小二乘；
• 想让参数别太大，就在 A 底下接一块 √λ 倍的选择矩阵、在 y 底下接一段 0，然后照常解；
• 要求两段三次多项式在断点处值接得上、斜率也接得上，就把这两条要求写成一个 2×8 的矩阵 C 和 d =（0, 0），问题变成 min ‖Aθ − y‖² s.t. Cθ = d。

正则化那一次落地，课上配了一个演示：同一个 5 参数的余弦基模型，10 个训练点、20 个测试点，把 λ 从小往大调。训练误差一路往上走，测试误差先降后升，在 λ ≈ 0.08 附近触底 📉。一个对象、一个动作、一个结果，看完你大概就明白 λ 在替你做什么取舍了。

学会这个动作以后，你能做的事很具体：再遇到一个新要求，先看它能写成多接几行的形式，多半就绕开了另找方法这条路。

🧭 拿到 Ax = b，先看 A 长什么样

Week 8 会摆出一张按 A 的形状分列的总结表，高矩阵、方阵、宽矩阵三种情况的逆存不存在、公式长什么样、Ax = b 怎么解，全排在一起。我把这张表当成整门课的入口，在考场上它也是最省力的那一个。

法则本身很短：先看 A 的形状。高矩阵看列线性无关，用 A† =（AᵀA）⁻¹Aᵀ，算完把 Ax̂ 和 b 对一遍，对得上就是精确解，对不上就是最小二乘的近似；方阵直接用 A⁻¹；宽矩阵看行线性无关，用 A† = Aᵀ（AAᵀ）⁻¹，解有无穷多个。

这一步同时接住三头。它把 Week 6 到 Week 8 的工具箱收成一句话，它决定 Week 9 到 Week 12 每道题走哪条路，而在没有电脑、没有 AI 的考场里，它是你唯一能靠手判断的入口 🔍。

🎯 拿到 Ax = b，先看 A 的形状。形状定了，用左逆、逆还是右逆就定了，这题给的是精确解还是最小二乘的近似也定了。