QBUS6310 Case Study|先冻结决策时点再比较模型
🧊 先把未来数据关在门外
用往期 Tazocin 样例练模型比较时,我会先画一条 decision cutoff。前 24 期需求用来拟合模型,模型再预测第 25–36 期;采购经理根据预测决定预留量,等实际需求发生以后,结算阶段才打开后 12 期真实值。这个顺序先固定下来,后面的 MSE、RMSE 和成本才有可比意义。
比如,分析者看完第 25–36 期真实需求,再回头调季节模型或移动预留量,表格可能会变得很漂亮。不过,这个方案依赖下单时拿不到的信息,采购经理无法照着执行,整套选型也要回到 cutoff 重新计算。🧪 草稿里凡是出现测试段真实值,都要标清它服务于结算,还是已经提前进入了选型与下单。
🧭 一条边界:下单前能看到预测,看不到结算期真实需求;依赖真实需求完成的调参和预留量都要撤回。
🔗 四个数字要放在一张桌上
信息边界锁好以后,再做 同表比较。📊 往期样例中,加法模型与乘法模型给出了下面四组结果。它们分别回答拟合、样本外预测、采购动作和最终代价,顺序少一层,模型结论都会提前停住。
| 往期样例指标 | 加法模型 | 乘法模型 | 这一行回答什么 |
|---|---|---|---|
| 训练 MSE | 30,895.67 | 13,825.42 | 哪个模型更贴合训练段 |
| 测试段 RMSE | 496.99 | 770.44 | 哪个模型在未来 12 期偏得更少 |
| 预留量 | 8,980.13 | 9,338.20 | 预测怎样改变采购动作 |
| 实际结算成本 | 9,426.13 | 12,943.91 | 采购动作最后付出多少代价 |
乘法模型的训练 MSE 低约 55.3%,如果分析只停在第一行,选型会落到乘法模型。继续往下读,测试段 RMSE 与实际成本都由加法模型取得较低值,其中乘法方案的成本高约 37.3%。🔍 同一组模型在不同指标下出现排序反转,草稿需要解释这次反转怎样发生,再给出当前样例内的选择。






