8 个 p 值，三种判断

Week 11 的多重检验练习中，有 8 个独立检验。p 值从小到大排列为：

0.001、0.008、0.012、0.030、0.040、0.045、0.200、0.650。

如果每个检验都直接用 0.05 作阈值，前 6 个都会被判为显著。使用 Bonferroni 校正后，只有 1 个显著；使用 Benjamini–Hochberg（BH）方法后，有 3 个显著。

这些差别来自校正规则。判断结果前，需要说清楚要控制哪一种错误。

0.05 管的是单个检验

假阳性指原假设为真，却被检验拒绝。单个检验的显著性水平设为 0.05，控制的是这种错误的概率。

假设 12 个原假设全部为真，各检验相互独立，而且每个检验发生假阳性的概率都是 0.05。全部不出错的概率是 0.95 的 12 次方，约为 0.540。

因此，至少出现一次假阳性的概率约为 1 − 0.540 = 0.460，也就是 46%。这与单个检验的 5% 是两个不同的概率。

Bonferroni 把阈值分给全部检验

家族错误率（FWER）指一组检验中至少出现一次假阳性的概率。Bonferroni 要把这个概率控制在设定水平以内。

回到开头的 8 个检验，设整组水平为 0.05，每个检验使用的阈值就是：

0.05 ÷ 8 = 0.00625。

只有 0.001 小于这个阈值，所以拒绝 1 个原假设。0.008 虽然小于 0.05，仍然没有达到校正后的要求。

这里的分母是整组检验的数量 8，包含 p 值为 0.200 和 0.650 的两个检验。

BH 按 p 值的顺序算阈值

错误发现率（FDR）关注被拒绝的原假设中，假阳性所占比例的期望。BH 在适用条件下控制这个期望值；它与 FWER 控制的对象不同。

本例的检验相互独立。将 FDR 目标设为 0.05，按从小到大的序号 i，为每个 p 值算出阈值：i ÷ 8 × 0.05。