QBUS6600 Group Data Analysis Project|先锁定模型选择证据链
🧭 比模型前先锁同一把尺
进入 model building 后,我会先把比较口径定住,再碰候选模型。只看一次靠前分数就锁模型,报告、演示和代码写到后面很容易分叉,前面的分析也得跟着返工。这里先写一份 Validation Contract:小组获分配的项目路线、target variable、prediction window、fold、主指标和预处理边界都放进去。T1 与 T2 可以沿用相同的验证原则,各自的目标和评价指标仍然分开。
接下来让 baseline、透明模型和复杂模型使用 同一 folds。缺失填补、编码、标准化、特征筛选和调参都只在 training fold 内学习参数。📌 比如同一家庭的成员被拆进训练集和验证集,模型就可能提前见到很相近的信息;把家庭留在同一个 fold,比较结果会更接近模型面对新家庭时的表现。
🔒 **先锁住:**候选模型共用路线、fold、主指标与预处理边界,分数差异才有可比基础。
⚖️ 分数接近时按证据裁决
模型选择需要一条完整证据链。分数提供起点,稳定性、解释能力和使用成本一起决定哪一个结果值得锁定。
| 证据位置 | 草稿里要写出的判断 | 填好的 example |
|---|---|---|
| 问题匹配 | 模型对应当前路线的 target 与预测窗口 | T2 只比较同一二元分类任务下的候选模型 |
| OOF 表现 | 同一主指标下的差异与 fold 波动 | F1 接近时,同时比较 fold 标准差 |
| 解释与限制 | 关键预测依赖、overfitting 风险与适用范围 | 复杂模型负责预测,透明模型提供解释参照 |
| 实施成本 | 输出能否接进管理动作与沟通场景 | 排序结果转成有限容量的触达名单 |
选择理由要写到具体指标:主指标、fold 波动、相对 baseline 的幅度、解释限制和实施代价需要连成一句完整判断。📍 一个模型在某个 fold 突然掉得很厉害,平均分仍然好看,也要说明波动来自哪里,再决定保留它或换用更稳的方案。
📊 放到一组 T2 example 运行里,四个候选模型的 OOF F1 落在 0.2728–0.2746。Histogram Gradient Boosting 的 OOF F1 是 0.2746,fold F1 标准差是 0.0210,Average Precision 是 0.2101。这里的分差很窄,选择理由就该写成稳定性与排序质量的组合判断,别把 0.0018 的差距讲成压倒性优势。换成小组自己的数据,模型与数字都要重新运行。






