IP共享网站检测：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6f81b30e1971.html
📄
IP共享网站检测：访客被分配到不同版本时怎样识别样本污染
先给结论：当同一批访客被分配到不同页面版本时，样本污染通常来自两件事之一——分流本身没有按预期隔离，或统计口径把不同来源混在一起。要识别它，不能只看转化率差异，而要先确认“谁被分到了哪一版”这件事是否可复现。可复现，问题在统计口径；不可复现，问题在分流实现。
矛盾现象：总量没变，版本间差异却突然放大
一个常见场景是：实验上线一段时间后，整体访问量、转化总量都平稳，但A版和B版的差距从很小突然拉大。这时有两种解释。
- 解释一：分流被污染。同一访客、同一会话在两次请求中被分到不同版本，导致行为被重复计入两版，差异被放大或抵消。
- 解释二：样本构成变化。分流没问题，但某个来源、某个地区或某类设备的访客比例变了，而这类访客对版本本身更敏感。
两者的表象相似，处理方式完全不同。前者要修分流逻辑，后者要修分析口径或延长观察。
用可复现性区分两种解释
关键证据是“同一标识的分配是否稳定”。如果系统按访客ID、cookie或登录账号做哈希分流，那么同一标识在多次请求中应始终落到同一版本。你可以取一小段日志，按标识分组，看每个标识出现的版本数。
- 若大量标识同时出现在A和B两版，且比例接近五五开，偏向解释一。
- 若每个标识只出现在一个版本，但各来源的版本占比差异明显，偏向解释二。
这里要注明假设：前提是分流标识在会话内不变。如果访客清除了cookie，或跨设备访问，标识本身就会变，这时“同一人”被分到两版属于正常现象，不能直接判为污染。
一个可执行动作：先冻结分流，再看差异是否收敛
假设你怀疑分流不稳，可以做一个短动作：把分流规则临时改成按登录账号固定，排除匿名cookie的影响，再观察一个完整周期。结果分两种走向。
- 差异明显收敛：说明原先的匿名标识分流是污染源，下一步应检查cookie写入、读取和过期设置。
- 差异依旧：说明版本差异更可能来自样本构成，下一步应拆分来源、设备和地区，而不是继续改分流。
这个动作的价值在于它把“分流”和“样本”两个变量暂时分开，让后续判断有依据。
口径差异也会制造假污染
第三方估算流量、平台侧报告与站内统计的口径并不一致。站内按会话去重，平台可能按请求计数，第三方可能按估算模型。当你在不同报表里对比版本表现时，看到的“污染”有时只是口径不同。
可核查的证据链是：拿同一时间段的原始日志，分别按会话、按请求、按标识去重统计一次，看三种口径下版本占比是否一致。若只有某一种口径出现异常，优先怀疑该口径的定义，而不是分流逻辑。
什么时候该停止分析
如果分流标识稳定、口径一致，但差异仍在，且你能找到某个来源的样本比例变化，那么继续追查“污染”可能没有收益。此时更合理的动作是：固定来源范围重跑一次，或把该来源单独分析。
反过来，如果标识不稳定且无法在短期内修复，那么任何版本对比都缺少可靠基础，此时应暂停基于该实验的决策，而不是用更多指标去补偿。
