观文听傑

返回

一份带时间戳的研究计划固定在分析路径分叉之前,路径分别通向预先声明的结果和探索性结果一份带时间戳的研究计划固定在分析路径分叉之前,路径分别通向预先声明的结果和探索性结果

上一篇把平行趋势假设拆成了可解释的偏差形状,并追问:哪些结论能在这组假设下站得住?但敏感性分析仍要先选一个结果、估计目标和事件窗口。如果研究者看完很多指标后才挑出最显著的一项,再为它补一套看似合理的解释,区间算得再准确也无法消除“为什么这项分析被选中”的不确定性。

这正是预分析计划(Pre-analysis Plan,PAP)要解决的问题:**在看见会影响选择的结果之前,把研究问题落实成可复核的估计目标、指标、样本规则和分析分支。**它不是保证结论正确的合同,而是一份有时间戳的决策记录。上一篇关注“假设改变时结论如何变化”;本篇把视角移到研究流程,下一篇将沿这条线继续讨论结果出来后如何透明地记录偏离与探索。

01 同一份实验数据,为什么能讲出相反故事?#

假设推荐模型 A/B 实验同时记录点击率、七日留存、购买率和平均订单金额。上线后,分析者发现点击率上升、留存下降、购买率不变、订单金额只在老用户中上升。若没有事先说明哪个结果最重要、老用户分析是否计划过、哪个窗口是主要窗口,就可以在看到结果后挑一个支持上线的切片。

“我只做了一次检验”也不能自动消除这种选择。选择路径可能发生在查看四个指标、三个窗口、两种人群、多个缺失值规则和几种模型后。数据会影响分析者最终走哪条路;即便每条单独的检验都使用 5% 显著性水平,最终报告的那条路也未必还具有 5% 的错误率。

预分析计划不要求把研究中每个想法都提前猜中。它要求把关键选择的先后次序留下证据:什么在看结果前已经承诺,什么是数据到来后产生的新问题,哪些变化是因为数据质量或设计现实必须调整。

flowchart LR
  A[研究问题与随机化设计] --> B[冻结估计目标与主要指标]
  B --> C[登记样本规则、模型与决策分支]
  C --> D[时间戳登记并保存版本]
  D --> E[按计划检查数据质量]
  E --> F{计划条件满足?}
  F -->|是| G[运行确认性分析]
  F -->|否| H[按预设分支处理并记录]
  G --> I[报告结果、偏离与探索分析]
  H --> I
mermaid

这条数据流的核心不是“登记网站”本身,而是先区分三种对象:研究设计说明怎样产生数据;分析计划说明数据怎样变成估计量和区间;决策规则说明结果如何影响动作。三者相关,却不能用一段“我们将比较两组”替代。

02 先冻结估计目标,再决定用什么模型#

**估计目标(Estimand)**是希望从数据中回答的精确定量问题。对于用户级随机实验,一个常见目标是意向处理效应(Intent-to-Treat Effect,ITT):不论用户是否实际使用新功能,都按最初被分配的组比较结果。

令 Zi∈{0,1}Z_i\in\{0,1\} 表示用户 ii 的随机分组,Yi(1)Y_i(1) 与 Yi(0)Y_i(0) 表示该用户在两种分配下的潜在结果。总体 ITT 为

τITT=E[Yi(1)−Yi(0)].\tau_{ITT}=\mathbb{E}[Y_i(1)-Y_i(0)].

样本中的差均值估计量是

τ^=Yˉ1−Yˉ0,Yˉz=1nz∑i:Zi=zYi.\hat\tau=\bar Y_1-\bar Y_0, \qquad \bar Y_z=\frac{1}{n_z}\sum_{i:Z_i=z}Y_i.

NN 是分析总体的用户数,n1n_1 和 n0n_0 是分别分配到处理组和对照组的用户数;YiY_i 是一个用户级结果,所以这组公式的观测单位是用户,而不是请求或曝光。若处理按门店随机,就不能把同一门店里的几百位用户误当成几百个独立随机单位。

要让这个数学对象可执行,计划至少需要写明:目标人群和纳入时点、随机化单位、处理定义、对照定义、结果变量与观测窗口、ITT 还是实际使用者效应,以及目标是用户平均还是簇平均。这里的具体字段可能随领域模板而异,但模糊的目标会让后续每一个模型选择都变成新的分叉。

计划字段例子不写清会产生的分叉
目标人群实验开始前符合条件的活跃用户是否排除后来不活跃者
随机化单位用户 ID按请求统计会重复计算同一人
处理效应按最初分组的 ITT是否只分析实际点开功能的人
主要结果分配后 7 天内是否完成购买选点击、收入还是留存作为主指标
窗口与单位用户级二元结果,7 天成熟窗口使用 1 天、7 天还是 30 天结果
汇总权重用户平均效果大门店与小门店各占多少权重

**主要结果(Primary Outcome)**应该直接对应研究问题。次要结果(Secondary Outcomes)提供补充,探索结果(Exploratory Outcomes)帮助产生下一轮问题。若同时有很多主要结果,就要事先解释多重性处理;不能等结果出来,再把成功的指标升级为“主要”。

03 极小手算:指标选择会改变结论吗?#

假设 8 位用户按用户随机分组,每组 4 人。预先声明的结果是“分配后 7 天内是否购买”:处理组有 3 人购买,对照组有 1 人购买。

τ^purchase=34−14=0.50.\hat\tau_{purchase}=\frac{3}{4}-\frac{1}{4}=0.50.

这表示样本中的购买率差为 50 个百分点。若点击率分别是 4/44/4 和 2/42/4,点击率差为 50 个百分点;两个数字相同,却回答两个不同问题。若计划指定购买为唯一主要结果,点击只能作为次要结果之一。不能因为点击有更显著的 pp 值,就在报告里把它改称“真正主要指标”。

这个例子故意很小,只用来区分“定义估计对象”和“计算点估计”,不是功效充足的正式试验。若一位处理组用户的购买标签尚未成熟,不能简单把他记为 0;必须按事先声明的标签成熟规则等待、缩短窗口,或把缺失处理作为敏感性分析,并清楚标注选择。

04 一份可执行计划要具体到哪些分析分支?#

分析者常写“我们会做稳健性检验”,却没有说明何时触发、会改哪一项。可审计的计划应将重要分叉改成 if/then:

  • 随机化检查:若样本比例失配检验超过预设阈值,先检查分流、身份和曝光日志;不要因此临时剔除某一组。
  • 标签成熟:若距观察窗口结束不足 7 天,延后锁库时间;不要把尚未到达的标签当作负结果。
  • 分析总体:仅排除随机分组前就不符合条件、且由版本化资格规则识别的用户。随机分组后没有曝光、卸载或没有点击,不自动成为排除理由。
  • 模型形式:未调整的组间差为主分析;若计划采用协变量调整,列出协变量的测量时间、公式和缺失规则。处理后变量不能为了提高显著性再加入主模型。
  • 多重性:列清主要假设族、指标与校正方法;探索性扫描单独报告,不能把未经校正的扫描当作原有确认性检验。
  • 安全停止:先前的序贯检验文章已说明停看规则需要设计在前。若本实验允许中途查看并提前停止,必须引用预设的序贯边界;普通固定样本检验不能事后配上一个方便的停时点。

**偏离(Deviation)**不是失败,也不应被悄悄隐藏。例如埋点故障使购买标签不可用,可能必须更换观测窗口。记录应包括原计划版本、实际改变、发生时间、触发证据、作出决定的人、受影响分析和结果是否已被查看。若改变发生在查看结果之后,仍可以分析,但要明确标为结果知情后的偏离。

05 从自然语言计划到校验清单#

下列 Python 使用标准库表示计划,并检查常见的结构缺口。输入是一份普通 Python 字典:结果列表每项有名称、角色、窗口和单位;NN 个条目会形成一个计划对象。输出是可读错误或稳定的 SHA-256 摘要。哈希只能证明保存的字节是否变化;它不能证明计划创建时间,也不能替代可信注册库的时间戳和不可变版本。

这段校验只验证计划是否有关键字段、主要结果是否一致,不判断某个估计目标是否科学,也无法知道“七天”是否适合实际业务。真实分析仍要实现该计划:按 user_id 去重、使用最初分组、等待成熟标签、把用户级结果聚合到用户后再比较两臂。仓库中的代码、数据契约和注册文本应共享版本号或摘要,避免计划写一套、查询却使用另一套口径。

用自然语言到计算的对应关系表示,数据形状会随随机化单位变化:若有 NN 个用户,分组向量 Z∈{0,1}NZ\in\{0,1\}^{N},结果向量 Y∈{0,1,missing}NY\in\{0,1,\text{missing}\}^{N};如果有 JJ 家门店,应先在预定分析层级处理相关性,不能只把每位顾客复制成独立样本。SQL 提取可以产出 (unit_id, assigned_arm, outcome, maturity_date, plan_version),随后检查:每个随机化单位恰好一行、两臂人数与分流日志一致、标签窗口已成熟、过滤规则只使用分组前信息。

完整执行伪代码如下:

load timestamped plan version V before opening outcome dashboard
verify source table schema and assignment log against V
build one analysis row per declared randomization / analysis unit
apply only the frozen eligibility and label-maturity rules
run data-integrity checks (SRM, duplicates, missingness, exposure coverage)
if a predeclared branch is triggered:
    execute that branch and record its trigger
else:
    estimate the declared estimand with the declared primary model
report estimate, uncertainty, all declared outcomes, and plan version
label every post-plan analysis as exploratory or a documented deviation
text

06 预注册与确认性分析,不是“以后不能改”#

**预注册(Preregistration)**通常指在数据收集或分析前,将研究计划以带时间戳的形式保存到登记系统。各领域对登记时间点、模板和必填项并不完全相同;回顾性数据的研究还要说明研究者何时首次查看了相关结果。OSF 的官方指南将预注册描述为在数据收集或分析前发布带时间戳、只读计划,并建议明确假设、变量、排除规则、模型和未计划分析。AEA RCT Registry 也要求把设计信息填入相应字段,而不是只贴一个外部分析计划链接。

预注册和预分析计划有重叠,但不必总是同义词:前者强调留下带时间戳的计划记录;后者强调具体分析如何执行。**确认性分析(Confirmatory Analysis)**是按事先声明的问题和程序检验;**探索性分析(Exploratory Analysis)**则允许从数据中发现模式,再提出后续验证问题。探索发现很有价值,关键是不要把它伪装成事前预测。

冻结计划也不等于不能修正。现实中可能发生随机化故障、数据 schema 改变、标签源不可用或伦理要求变化。应保留原始版本,新增带时间戳的版本说明差异和原因;不能覆盖旧计划,让历史看起来从未改变。OSF 官方文档将注册视为冻结版本,并允许通过更新过程透明记录变化;但具体仓库的更改规则应以所用登记服务和研究领域规范为准。

07 最常见的计划失效与调试路径#

现象常见原因先检查什么
计划里有很多“主要”指标研究问题没有收敛,或多重性未定义是否需要一个主结果或明确的检验族
计划写 ITT,SQL 只保留曝光用户查询按实际使用筛选分组记录是否在过滤前保留
结果重算后变了标签回填、归因窗口或数据表版本变化锁库时间、快照 ID 和计划版本
一组人数异常分流、身份映射或去重错误随机化单位与 SRM 检查
结果在摘要中变成了新指标报告选择跟随结果发生对照计划版本、登记时间和最终结果表
注册很详细,但仍无法复现模型公式、字段定义或代码版本模糊是否可从字段定义生成同一分析样本

不能由预注册修复的事情包括测量不准、随机化失败、标签被处理影响、严重失访、干扰、效应定义不适合决策,以及过低功效。计划可以让这些限制更透明,但不会把有偏数据变成无偏证据。若研究目标是持续在线监控,就要沿用前一篇的序贯决策设计;在看完数据后写下一份计划,不能追溯性地获得确认性地位。

键盘可展开:提交前的 8 项核对

按 Tab 聚焦后按 Enter 或 Space 展开。核对问题、目标人群、随机化单位与估计目标;标明唯一主指标、单位和成熟窗口;列出纳入/排除与缺失规则;给出模型、协变量和聚类层级;写明多重性与停看规则;声明触发条件和备用分支;保存计划版本与可信时间戳;给偏离和探索分析留出单独报告位置。

08 和相近做法的边界#

做法主要回答不能替代
功效分析需要多少随机化单位,才能检测目标效应?不能指定结果出来后如何挑指标
预分析计划研究如何从数据到估计量和报告?不能保证设计、测量或假设正确
序贯检验按什么边界重复查看并安全停止?不能事后补救任意停看
多重检验校正一组比较的错误率怎样控制?不能让未声明的选择路径消失
注册报告(Registered Report)问题和方法能否在结果未知时接受同行评审?不能保证后续执行无偏离

思考练习#

  1. 某实验在计划中以 7 日购买率为主要结果;分析后发现 1 日点击率显著、购买率不显著。怎样同时报告两种结果,才能保留确认性与探索性边界?
  2. 处理组有 1,000 个用户,但其中 12% 尚未达到 7 天观察窗口。若把未成熟结果记为“未购买”,估计量可能偏向哪个方向?计划中应如何规定锁库?
  3. 你在查看结果后发现某类用户受损,但该切片没预先声明。请写出两句报告措辞:一句说明发现,一句说明它需要怎样的后续验证。

延伸阅读#

上一篇把结论放在一组明示的平行趋势限制下检验;本篇把“哪些结果和分析值得检验”放回看数据之前。真正需要冻结的是会改变答案含义的选择;遇到设计现实变化时,则留下版本、时间和证据,继续把探索和确认分开。

看完实验数据再选指标,结论还可信吗?预分析计划怎样冻结估计目标与分析分支
https://zwjcode.cn/blog/preanalysis-plan-freeze-estimand-analysis-branches
作者 傑
发布于 2026年10月15日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。