先给结论:把一次异常当成规律,最常见的错误是只保留支持它的样本。你要做的是主动构造反例,而不是继续为那个故事找证据。具体做法是:把这次异常拆成“时间、对象、动作、结果”四个字段,然后去找同一动作在别的时间、别的对象上是否也产生了同样结果。如果找不到,这个异常就不能升级为可复用的规律,只能当作待观察事件。
异常被包装成规律,通常有三种来源,处理方式完全不同。
判断顺序建议是:先看有没有对照,再看有没有共因,最后才看结果大小。结果大小本身不能证明原因。
找反例的关键是改变一个变量,而不是重复同一个观察。假设你在一次内容更新后,某几个页面在Google的展现量上升,于是得出结论“更新旧内容就能带来快速排名变化”。这是一个假设,不是已验证的规律。
你可以这样构造反例:
如果未更新页面同样上升,说明外部共因更可能;如果只有某一类页面上升,说明条件比“更新”更具体;如果延长窗口后回落,说明这次异常不足以支撑固定动作。这个动作的结果会直接决定下一步:找到条件就改写结论,找不到条件就退出这个做法。
面对一次异常,常见取舍是“继续按这个方向加大投入”还是“暂停并做对照验证”。
继续投入成立的条件:你有至少两组可比对象,且异常在两组上都出现;你能说清楚动作和结果之间的中间环节;你愿意承担验证期间不新增动作的代价。满足这些条件时,继续投入的风险相对可控。
暂停验证成立的条件:异常只出现一次;同期存在多个未记录的动作;你无法排除外部因素。此时继续投入的代价是把资源押在一个未验证的假设上,一旦不成立,后续调整会更难。暂停验证的代价是短期没有新动作,但换来的是可复查的判断依据。
这两种做法没有绝对优劣,区别在于你手上有没有对照证据。没有对照,优先暂停验证。
防止异常被包装成规律,最实际的动作是留下一条可复查记录。记录至少包含:观察日期、涉及对象、当时做了什么、同期还有什么变化、结果是什么、你暂时怎么解释。假设某次调整后只有两个页面出现变化,记录里就应写明“仅两个页面变化,未检查其余页面”,而不是写成“调整带来排名提升”。
这条记录的作用是:下次再遇到类似异常时,你能先翻记录,看它是重复出现还是首次出现。重复出现才值得升级为规律;首次出现只适合保留观察。记录本身不会带来排名,但它能阻止你把一次巧合当成方法。
如果反例证明某个做法不成立,退出时不要删掉全部过程。保留三样东西:原始观察数据、当时的改动日志、你构造过的反例。保留它们的目的是让下一次判断更快,而不是证明自己错了。退出之后,下一步应当回到有对照条件的验证方式,例如分组对比或延长观察窗口,而不是立刻换另一个未经检验的做法。
一次异常可以提示方向,但不能替代验证。能被反例检验后仍然成立的做法,才值得继续投入;经不起反例的,只适合留在观察记录里。