看完实验数据再选指标,结论还可信吗?预分析计划怎样冻结估计目标与分析分支
把实验问题、估计目标、主要指标、排除规则和决策分支写在看结果之前,并用版本记录区分确认性分析与探索发现。
上一篇把平行趋势假设拆成了可解释的偏差形状,并追问:哪些结论能在这组假设下站得住?但敏感性分析仍要先选一个结果、估计目标和事件窗口。如果研究者看完很多指标后才挑出最显著的一项,再为它补一套看似合理的解释,区间算得再准确也无法消除“为什么这项分析被选中”的不确定性。
这正是预分析计划(Pre-analysis Plan,PAP)要解决的问题:**在看见会影响选择的结果之前,把研究问题落实成可复核的估计目标、指标、样本规则和分析分支。**它不是保证结论正确的合同,而是一份有时间戳的决策记录。上一篇关注“假设改变时结论如何变化”;本篇把视角移到研究流程,下一篇将沿这条线继续讨论结果出来后如何透明地记录偏离与探索。
01 同一份实验数据,为什么能讲出相反故事?#
假设推荐模型 A/B 实验同时记录点击率、七日留存、购买率和平均订单金额。上线后,分析者发现点击率上升、留存下降、购买率不变、订单金额只在老用户中上升。若没有事先说明哪个结果最重要、老用户分析是否计划过、哪个窗口是主要窗口,就可以在看到结果后挑一个支持上线的切片。
“我只做了一次检验”也不能自动消除这种选择。选择路径可能发生在查看四个指标、三个窗口、两种人群、多个缺失值规则和几种模型后。数据会影响分析者最终走哪条路;即便每条单独的检验都使用 5% 显著性水平,最终报告的那条路也未必还具有 5% 的错误率。
预分析计划不要求把研究中每个想法都提前猜中。它要求把关键选择的先后次序留下证据:什么在看结果前已经承诺,什么是数据到来后产生的新问题,哪些变化是因为数据质量或设计现实必须调整。
flowchart LR
A[研究问题与随机化设计] --> B[冻结估计目标与主要指标]
B --> C[登记样本规则、模型与决策分支]
C --> D[时间戳登记并保存版本]
D --> E[按计划检查数据质量]
E --> F{计划条件满足?}
F -->|是| G[运行确认性分析]
F -->|否| H[按预设分支处理并记录]
G --> I[报告结果、偏离与探索分析]
H --> Imermaid这条数据流的核心不是“登记网站”本身,而是先区分三种对象:研究设计说明怎样产生数据;分析计划说明数据怎样变成估计量和区间;决策规则说明结果如何影响动作。三者相关,却不能用一段“我们将比较两组”替代。
02 先冻结估计目标,再决定用什么模型#
**估计目标(Estimand)**是希望从数据中回答的精确定量问题。对于用户级随机实验,一个常见目标是意向处理效应(Intent-to-Treat Effect,ITT):不论用户是否实际使用新功能,都按最初被分配的组比较结果。
令 表示用户 的随机分组, 与 表示该用户在两种分配下的潜在结果。总体 ITT 为
样本中的差均值估计量是
是分析总体的用户数, 和 是分别分配到处理组和对照组的用户数; 是一个用户级结果,所以这组公式的观测单位是用户,而不是请求或曝光。若处理按门店随机,就不能把同一门店里的几百位用户误当成几百个独立随机单位。
要让这个数学对象可执行,计划至少需要写明:目标人群和纳入时点、随机化单位、处理定义、对照定义、结果变量与观测窗口、ITT 还是实际使用者效应,以及目标是用户平均还是簇平均。这里的具体字段可能随领域模板而异,但模糊的目标会让后续每一个模型选择都变成新的分叉。
| 计划字段 | 例子 | 不写清会产生的分叉 |
|---|---|---|
| 目标人群 | 实验开始前符合条件的活跃用户 | 是否排除后来不活跃者 |
| 随机化单位 | 用户 ID | 按请求统计会重复计算同一人 |
| 处理效应 | 按最初分组的 ITT | 是否只分析实际点开功能的人 |
| 主要结果 | 分配后 7 天内是否完成购买 | 选点击、收入还是留存作为主指标 |
| 窗口与单位 | 用户级二元结果,7 天成熟窗口 | 使用 1 天、7 天还是 30 天结果 |
| 汇总权重 | 用户平均效果 | 大门店与小门店各占多少权重 |
**主要结果(Primary Outcome)**应该直接对应研究问题。次要结果(Secondary Outcomes)提供补充,探索结果(Exploratory Outcomes)帮助产生下一轮问题。若同时有很多主要结果,就要事先解释多重性处理;不能等结果出来,再把成功的指标升级为“主要”。
03 极小手算:指标选择会改变结论吗?#
假设 8 位用户按用户随机分组,每组 4 人。预先声明的结果是“分配后 7 天内是否购买”:处理组有 3 人购买,对照组有 1 人购买。
这表示样本中的购买率差为 50 个百分点。若点击率分别是 和 ,点击率差为 50 个百分点;两个数字相同,却回答两个不同问题。若计划指定购买为唯一主要结果,点击只能作为次要结果之一。不能因为点击有更显著的 值,就在报告里把它改称“真正主要指标”。
这个例子故意很小,只用来区分“定义估计对象”和“计算点估计”,不是功效充足的正式试验。若一位处理组用户的购买标签尚未成熟,不能简单把他记为 0;必须按事先声明的标签成熟规则等待、缩短窗口,或把缺失处理作为敏感性分析,并清楚标注选择。
04 一份可执行计划要具体到哪些分析分支?#
分析者常写“我们会做稳健性检验”,却没有说明何时触发、会改哪一项。可审计的计划应将重要分叉改成 if/then:
- 随机化检查:若样本比例失配检验超过预设阈值,先检查分流、身份和曝光日志;不要因此临时剔除某一组。
- 标签成熟:若距观察窗口结束不足 7 天,延后锁库时间;不要把尚未到达的标签当作负结果。
- 分析总体:仅排除随机分组前就不符合条件、且由版本化资格规则识别的用户。随机分组后没有曝光、卸载或没有点击,不自动成为排除理由。
- 模型形式:未调整的组间差为主分析;若计划采用协变量调整,列出协变量的测量时间、公式和缺失规则。处理后变量不能为了提高显著性再加入主模型。
- 多重性:列清主要假设族、指标与校正方法;探索性扫描单独报告,不能把未经校正的扫描当作原有确认性检验。
- 安全停止:先前的序贯检验文章已说明停看规则需要设计在前。若本实验允许中途查看并提前停止,必须引用预设的序贯边界;普通固定样本检验不能事后配上一个方便的停时点。
**偏离(Deviation)**不是失败,也不应被悄悄隐藏。例如埋点故障使购买标签不可用,可能必须更换观测窗口。记录应包括原计划版本、实际改变、发生时间、触发证据、作出决定的人、受影响分析和结果是否已被查看。若改变发生在查看结果之后,仍可以分析,但要明确标为结果知情后的偏离。
05 从自然语言计划到校验清单#
下列 Python 使用标准库表示计划,并检查常见的结构缺口。输入是一份普通 Python 字典:结果列表每项有名称、角色、窗口和单位; 个条目会形成一个计划对象。输出是可读错误或稳定的 SHA-256 摘要。哈希只能证明保存的字节是否变化;它不能证明计划创建时间,也不能替代可信注册库的时间戳和不可变版本。
from dataclasses import dataclass, asdict
import hashlib
import json
@dataclass(frozen=True)
class Outcome:
name: str
role: str # primary / secondary / exploratory
window_days: int
unit: str # e.g. user-level binary outcome
@dataclass(frozen=True)
class AnalysisPlan:
question: str
population: str
assignment_unit: str
estimand: str # e.g. user-level ITT
primary_outcome: str
outcomes: tuple[Outcome, ...]
exclusion_rule: str
missing_label_rule: str
primary_model: str
multiplicity_rule: str
stopping_rule: str
version: str
def validate(plan: AnalysisPlan) -> list[str]:
errors = []
required = {
"question": plan.question,
"population": plan.population,
"assignment_unit": plan.assignment_unit,
"estimand": plan.estimand,
"primary_outcome": plan.primary_outcome,
"exclusion_rule": plan.exclusion_rule,
"missing_label_rule": plan.missing_label_rule,
"primary_model": plan.primary_model,
"multiplicity_rule": plan.multiplicity_rule,
"stopping_rule": plan.stopping_rule,
"version": plan.version,
}
errors.extend(f"missing: {key}" for key, value in required.items() if not value.strip())
primaries = [o.name for o in plan.outcomes if o.role == "primary"]
if plan.primary_outcome not in primaries:
errors.append("primary_outcome must be declared with role='primary'")
if len(primaries) != 1:
errors.append("this template expects exactly one primary outcome")
if any(o.window_days <= 0 for o in plan.outcomes):
errors.append("each outcome window_days must be positive")
return errors
def fingerprint(plan: AnalysisPlan) -> str:
payload = json.dumps(asdict(plan), sort_keys=True, separators=(",", ":"))
return hashlib.sha256(payload.encode("utf-8")).hexdigest()
plan = AnalysisPlan(
question="Does assignment to the new recommendation ranker change 7-day purchase?",
population="Users eligible before random assignment",
assignment_unit="user_id",
estimand="User-level ITT: mean outcome by assigned arm",
primary_outcome="purchase_7d",
outcomes=(Outcome("purchase_7d", "primary", 7, "user-level binary"),
Outcome("click_1d", "secondary", 1, "user-level binary")),
exclusion_rule="Exclude only ineligible IDs identified before assignment",
missing_label_rule="Wait until each assigned user has a mature 7-day window",
primary_model="Difference in assigned-arm means; user is analysis unit",
multiplicity_rule="One primary outcome; secondary results labeled separately",
stopping_rule="Fixed sample target; no efficacy peeking",
version="1.0",
)
issues = validate(plan)
if issues:
raise ValueError("Plan needs review: " + "; ".join(issues))
print("plan_sha256", fingerprint(plan))python这段校验只验证计划是否有关键字段、主要结果是否一致,不判断某个估计目标是否科学,也无法知道“七天”是否适合实际业务。真实分析仍要实现该计划:按 user_id 去重、使用最初分组、等待成熟标签、把用户级结果聚合到用户后再比较两臂。仓库中的代码、数据契约和注册文本应共享版本号或摘要,避免计划写一套、查询却使用另一套口径。
用自然语言到计算的对应关系表示,数据形状会随随机化单位变化:若有 个用户,分组向量 ,结果向量 ;如果有 家门店,应先在预定分析层级处理相关性,不能只把每位顾客复制成独立样本。SQL 提取可以产出 (unit_id, assigned_arm, outcome, maturity_date, plan_version),随后检查:每个随机化单位恰好一行、两臂人数与分流日志一致、标签窗口已成熟、过滤规则只使用分组前信息。
完整执行伪代码如下:
load timestamped plan version V before opening outcome dashboard
verify source table schema and assignment log against V
build one analysis row per declared randomization / analysis unit
apply only the frozen eligibility and label-maturity rules
run data-integrity checks (SRM, duplicates, missingness, exposure coverage)
if a predeclared branch is triggered:
execute that branch and record its trigger
else:
estimate the declared estimand with the declared primary model
report estimate, uncertainty, all declared outcomes, and plan version
label every post-plan analysis as exploratory or a documented deviationtext06 预注册与确认性分析,不是“以后不能改”#
**预注册(Preregistration)**通常指在数据收集或分析前,将研究计划以带时间戳的形式保存到登记系统。各领域对登记时间点、模板和必填项并不完全相同;回顾性数据的研究还要说明研究者何时首次查看了相关结果。OSF 的官方指南将预注册描述为在数据收集或分析前发布带时间戳、只读计划,并建议明确假设、变量、排除规则、模型和未计划分析。AEA RCT Registry 也要求把设计信息填入相应字段,而不是只贴一个外部分析计划链接。
预注册和预分析计划有重叠,但不必总是同义词:前者强调留下带时间戳的计划记录;后者强调具体分析如何执行。**确认性分析(Confirmatory Analysis)**是按事先声明的问题和程序检验;**探索性分析(Exploratory Analysis)**则允许从数据中发现模式,再提出后续验证问题。探索发现很有价值,关键是不要把它伪装成事前预测。
冻结计划也不等于不能修正。现实中可能发生随机化故障、数据 schema 改变、标签源不可用或伦理要求变化。应保留原始版本,新增带时间戳的版本说明差异和原因;不能覆盖旧计划,让历史看起来从未改变。OSF 官方文档将注册视为冻结版本,并允许通过更新过程透明记录变化;但具体仓库的更改规则应以所用登记服务和研究领域规范为准。
07 最常见的计划失效与调试路径#
| 现象 | 常见原因 | 先检查什么 |
|---|---|---|
| 计划里有很多“主要”指标 | 研究问题没有收敛,或多重性未定义 | 是否需要一个主结果或明确的检验族 |
| 计划写 ITT,SQL 只保留曝光用户 | 查询按实际使用筛选 | 分组记录是否在过滤前保留 |
| 结果重算后变了 | 标签回填、归因窗口或数据表版本变化 | 锁库时间、快照 ID 和计划版本 |
| 一组人数异常 | 分流、身份映射或去重错误 | 随机化单位与 SRM 检查 |
| 结果在摘要中变成了新指标 | 报告选择跟随结果发生 | 对照计划版本、登记时间和最终结果表 |
| 注册很详细,但仍无法复现 | 模型公式、字段定义或代码版本模糊 | 是否可从字段定义生成同一分析样本 |
不能由预注册修复的事情包括测量不准、随机化失败、标签被处理影响、严重失访、干扰、效应定义不适合决策,以及过低功效。计划可以让这些限制更透明,但不会把有偏数据变成无偏证据。若研究目标是持续在线监控,就要沿用前一篇的序贯决策设计;在看完数据后写下一份计划,不能追溯性地获得确认性地位。
键盘可展开:提交前的 8 项核对
按 Tab 聚焦后按 Enter 或 Space 展开。核对问题、目标人群、随机化单位与估计目标;标明唯一主指标、单位和成熟窗口;列出纳入/排除与缺失规则;给出模型、协变量和聚类层级;写明多重性与停看规则;声明触发条件和备用分支;保存计划版本与可信时间戳;给偏离和探索分析留出单独报告位置。
08 和相近做法的边界#
| 做法 | 主要回答 | 不能替代 |
|---|---|---|
| 功效分析 | 需要多少随机化单位,才能检测目标效应? | 不能指定结果出来后如何挑指标 |
| 预分析计划 | 研究如何从数据到估计量和报告? | 不能保证设计、测量或假设正确 |
| 序贯检验 | 按什么边界重复查看并安全停止? | 不能事后补救任意停看 |
| 多重检验校正 | 一组比较的错误率怎样控制? | 不能让未声明的选择路径消失 |
| 注册报告(Registered Report) | 问题和方法能否在结果未知时接受同行评审? | 不能保证后续执行无偏离 |
思考练习#
- 某实验在计划中以 7 日购买率为主要结果;分析后发现 1 日点击率显著、购买率不显著。怎样同时报告两种结果,才能保留确认性与探索性边界?
- 处理组有 1,000 个用户,但其中 12% 尚未达到 7 天观察窗口。若把未成熟结果记为“未购买”,估计量可能偏向哪个方向?计划中应如何规定锁库?
- 你在查看结果后发现某类用户受损,但该切片没预先声明。请写出两句报告措辞:一句说明发现,一句说明它需要怎样的后续验证。
延伸阅读#
- Nosek et al., The Preregistration Revolution (PNAS, 2018) ↗ — 讨论预注册如何区分预测与事后解释,以及它的边界。
- Gelman & Loken, The Garden of Forking Paths (2013) ↗ — 解释看似单次检验也可能经历数据驱动的分析分叉。
- Olken, Promises and Perils of Pre-analysis Plans (Journal of Economic Perspectives, 2015) ↗ — 讨论预分析计划的价值、成本与适用条件。
- Coffman & Niederle, Pre-analysis Plans Have Limited Upside, Especially Where Replications Are Feasible (Journal of Economic Perspectives, 2015) ↗ — 比较预分析计划、登记与重复研究的不同作用。
- OSF, Effective Practices for Rigorous Preregistration ↗ — 官方登记指南,含变量、排除、模型和未计划分析等字段建议。
上一篇把结论放在一组明示的平行趋势限制下检验;本篇把“哪些结果和分析值得检验”放回看数据之前。真正需要冻结的是会改变答案含义的选择;遇到设计现实变化时,则留下版本、时间和证据,继续把探索和确认分开。