先查分母是否被分组拆碎,再查各组权重是否被平均值掩盖,最后看时间窗和口径是否一致。多数“辛普森悖论”式的反转,不是因为数据错了,而是因为总体和分组用了不同的分母定义,或者某一组在总体里占比过高,把方向带偏了。
假设你在看一个站内搜索词报告:总体看,带“比价”字样的搜索词点击率在下降;但按设备分组后,手机端在升,桌面端在降。这时不要急着下结论,先问:总体的点击率分母是什么?是全部搜索次数,还是有点击的搜索次数?
如果总体用的是“全部搜索次数”,而分组用的是“有点击的搜索次数”,那两组数字根本不可比。动作是:回到原始导出文件,把每个分组的分子和分母分别列出来,再手工加总,看能否还原总体值。如果加总后与总体不一致,说明分母口径不同,下一步应先统一口径,而不是解释趋势。
当分组结论与总体相反,常见原因是某一组在总体中占比极高,且它的变化方向与另一组相反。例如桌面端搜索量占九成、点击率降了,手机端占一成、点击率升了,总体自然跟桌面端走。
这时要做的不是合并成一句话,而是把各组的搜索量占比和点击率变化同时列出来。动作是:给每个分组补一列“占总体搜索量的比例”,再乘以该组的点击率变化。如果某一组的加权贡献绝对值明显大于其他组,就说明总体结论主要由它决定。下一步应分别看这两组的前提是否发生了变化,而不是强行找一个统一解释。
分组后反转,也可能是时间窗不同造成的。比如总体看的是最近7天,分组看的是最近30天;或者总体包含品牌词,分组只看了非品牌词。这类差异会让分母覆盖的搜索集合完全不同。
动作是:固定一个时间窗,比如都取最近完整自然周,再按同一套查询过滤条件重新分组。结果如果反转消失,说明原先的反转来自口径漂移,不是真实的结构变化。下一步应把口径写进监测记录,避免下次再混用。
假设某页面总体的搜索热度在降,但按新老访客分组后,新访客在升、老访客在降。先别写“新访客兴趣上升”的结论。查分母:总体是否把新老访客都算进同一个搜索次数?分组是否只统计了登录用户的搜索?
如果发现老访客的搜索次数分母里混入了大量重复查询,而新访客没有,那老访客的下降可能只是去重规则变了。动作是:对两组使用同一去重规则重新计算。若反转仍在,才考虑按新老访客分别制定内容策略;若反转消失,下一步应回到总体层面查去重规则,而不是拆分运营。
查分母的终点不是证明谁对谁错,而是决定下一步该动哪里。可以按这个顺序处理:
只有当前两步都排除后,分组差异才值得作为独立决策依据。否则,优先修的是分母定义,而不是分组策略。