先给有条件的结论:当分组结论与总体相反时,优先怀疑分母口径——也就是各组的曝光、会话、抓取或转化基数是否来自同一统计范围;如果分母一致、分组维度互斥且时间窗对齐,才轮到检查样本量和归因延迟。否则,你看到的“相反”很可能只是分母在分组后被悄悄换掉了。
常见的相反结论长这样:总体点击率上升,但按设备分组后,每一组的点击率都下降。这在算术上是可能的,前提是各组在总体中的占比发生了变化——高点击率的组占比变大,即使组内点击率下降,总体点击率仍可能上升。这就是辛普森式反转,它成立的硬条件是:分组维度与分母权重不同步。
要判断是否属于这种情况,先做一件事:把总体拆成“各组分子之和 ÷ 各组分母之和”,再和直接算出的总体值对一遍。如果两者不等,说明你手上的总体数字和分组数字不是同一套口径,先别下结论。
不要一上来就怀疑算法。按下面顺序查,每一步都能排除一类原因:
完成这三步后,如果分母仍一致,再去看样本量:某组分母过小,单日波动就足以让该组结论翻转,这不代表总体规律变了。
假设某站点总体转化率从 2.0% 升到 2.2%,但按新老访客分组,两组转化率都下降。可以这样查分母:
这个例子的数字只用于说明比较方法,不是真实项目结果。它的价值在于:反转是否成立,取决于占比变化和口径是否一致,而不是取决于哪一组“看起来更好”。
如果分组维度本身就是结果变量,比如按“是否转化”分组再算转化率,反转没有诊断意义。另一个边界是:当分母来自两套不可比的系统——例如搜索引擎报告与站内统计——两者差异可能来自口径、采样或延迟,不能直接判定为数据错误,也不能仅凭某一指标归零就断定处理正确。此时应记录差异,而不是强行合并。
查清分母后,把“分子/分母/时间窗/过滤条件”四要素写进结论。若分母不一致,先修正口径再重跑;若分母一致但某组样本过小,标注置信区间并延迟判断;若确属占比变化导致的反转,结论应表述为“总体变化由结构变化驱动,组内趋势相反”,而不是简单说“数据变好了”。这个动作会直接影响下一步:口径未统一前,任何分组优化都不该启动。