CMCE10002 Final Exam

Brown hair 模拟：真实效应 +10%，直接分组比出来 Brown 组低 2%

Week 9 lecture 用一份 5,000 人的模拟数据讲 omitted variable bias。模拟里设定 brown hair 让收入高 10%，可是按 hair 分组直接算 log income 的均值，Brown 组是 5.09，其他发色是 5.10，Brown 组比其他发色低约 2%。

这份数据的生成规则里，20% 的人天然是 brown hair，30% 的人有 college degree，degree 让收入高 20%。另外，既没有 brown hair、也没有 degree 的人当中，有 40% 会把头发染成 brown。

Brown 组变低是染发这条规则造成的。染发的人全部没有 degree，染完以后他们被分进了 Brown 组，Brown 组里没有 degree 的人比例因此变高。degree 本身带来 20% 的收入差距，这部分把 Brown 组的均值往下拉，抵消了 brown hair 带来的 10%，结果连方向都反了。

college degree 在这里既影响一个人会不会被分进 Brown 组，也影响他的收入。写成图就是 Z（college degree）→ X（hair）和 Z → Y（income）。分析时漏掉 Z，X 对 Y 的估计就会被扭曲，这就是 omitted variable bias。

lecture 的修正做法是 filter(college == TRUE)，只看有 degree 的人。有 degree 的人不会触发染发规则，所以这个子样本里的 Brown 组全是天然 brown hair，education 也固定在同一水平。重新计算得到 Brown 5.33、其他发色 5.20，Brown 组高约 12.2%，和设定的 10% 之间的差距来自抽样波动。

这种控制变量的做法叫 model-based inference，lecture 给它列了三条限制：对世界的假设要正确；要有足够的领域知识，知道该控制哪些变量；这些假设通常无法验证。模拟数据的生成规则是已知的，所以知道该控制 degree；真实数据的生成过程通常不知道。

DonorsChoose：8 月 14%、9 月 15% 不能相减算成提示语的效果

DonorsChoose 换了一版分享提示语。8 月用旧版，分享率 14%；9 月用新版，分享率 15%。两个月相减得到的 1 pp 里，同时混进了两个月之间的其他变化：开学季、捐款人构成、项目类型、页面流量、其他界面改动和外部新闻。

要把这 1 pp 全部算作提示语的效果，下面五条假设需要同时成立：

除了提示语，没有别的变化
两个月的 donor 构成相同
两个月的 project mix 相同
没有时间趋势和外部冲击
没有其他与分享有关的产品或界面改动

这五条都无法验证。

同一位 donor 两个月都来捐过款，他 8 月的结果也不能当作他 9 月的 counterfactual。Fundamental Problem of Causal Inference 说的是同一个人在同一时刻只能观察到一种结果：9 月看到新提示语的这位 donor，如果当时看到的是旧提示语会怎样，这个结果永远观察不到。8 月和 9 月之间，他面对的季节、项目和心情都变了。

随机实验在同一段时间里把新旧提示语随机分给 donor，两组除了提示语以外，在期望上没有差别，两组均值相减就是 ATE 的无偏估计。实验里 control 组的 click 是 0.144，treatment 组是 0.151。