整个平台无法分组时,怎样做 Switchback 时间切换实验?
用随机化时间区块比较整个平台策略,拆解配对、洗脱期、序列相关、估计量和随机化检验。
上一篇把处理饱和度随机给不同社群,再在社群里随机用户,以研究邻居处理带来的溢出。但有些平台没有互不干扰的社群:一套派单系统服务整座城市,给一半司机看新策略,另一半仍会改变全局供需。此时可让整个平台按时间轮换策略,在可比时段随机使用新旧版本。
这种设计叫 Switchback 实验(switchback experiment,时间切换实验)。本篇只讲一个核心问题:随机化单位从人变成时间区块后,怎样设计轮换和分析,才不会把日夜变化或上一时段残留误当成策略效果?
01 为什么用户随机化会失效?#
订单、司机和乘客彼此影响:新模型多派给某些司机后,其他司机可接订单随之变化;控制组没有处在“新模型不存在”的环境里。把用户行当独立样本,可能得到很小却不可信的标准误。
Switchback 把“城市 × 时间段”作为随机化单位。同一座城市在不同时段使用处理策略 或控制策略 ;平台整体只有一个策略状态,因此块内供需反馈是该策略下的系统结果。它不要求同一时段用户互不影响,但要求处理效应不会未经处理地残留到后续区块。
| 设计 | 随机化单位 | 适合回答 | 主要风险 |
|---|---|---|---|
| 用户级 A/B | 用户 | 用户间干扰弱、身份稳定 | 市场均衡、资源抢占 |
| 社群/门店簇随机 | 地理或业务簇 | 簇间隔离、簇数够用 | 簇间传播、簇太少 |
| Switchback | 实体 × 时间块 | 单个市场需整体切换策略 | 时间趋势、序列相关、残留 |
| 观察前后对比 | 时间 | 仅有历史运营数据 | 季节和策略效果混在一起 |
02 时间块怎样组成可比的随机对照?#
若前半天固定控制、后半天固定处理,策略差异和时段完全重合。应在预先定义的可比区块内随机,而非上线后挑“看起来正常”的时段。
把相似窗口组成一对(matched time pair,配对时间块),例如连续两周同一星期几的晚高峰。每对独立公平随机决定顺序:控制后处理(C→T),或处理后控制(T→C)。令 为时间对, 为对内区块, 为分配, 为区块长度。
若切换后系统还在清理旧队列,可在区块开头留洗脱窗口(washout window,残留消退窗口),不纳入主要结果。分配清单、时区、边界、策略版本和洗脱规则都须在看结果前冻结。固定周一 C、周二 T 不是随机试验,因为策略仍与星期结构绑定。
flowchart LR
A[确定实体与可比时段] --> B[按星期和时段配对]
B --> C[每对随机决定 C→T 或 T→C]
C --> D[切换后执行预注册洗脱]
D --> E[稳定窗口内记录平台结果]
E --> F[计算每对 T 减 C]
F --> G[按实际随机机制推断]mermaid03 手算:四对时段的平均差是多少?#
主要结果设为每小时完成订单数,先扣除洗脱窗口,再计算稳定窗口均值:
| 配对 | 控制/小时 | 处理/小时 | 差 |
|---|---|---|---|
| 1 | 20 | 24 | 4 |
| 2 | 18 | 16 | -2 |
| 3 | 22 | 25 | 3 |
| 4 | 19 | 20 | 1 |
配对估计量为
这表示四对时段里处理策略平均每小时多完成 1.5 单。8 个区块结果不是 8 个独立观测:每对只有一次随机方向。若只有 4 对,随机化信息来自 4 次分配,而不是数万笔订单。配对能抵消共同冲击,却不能消除仅影响其中一个区块的促销、故障或天气突变。
04 Python:枚举配对随机化检验#
输入是每对控制均值和处理均值;输出配对差均值,以及“任何区块都没有处理效应”的尖锐零假设(sharp null)下的双侧随机化 值。每对顺序独立且概率各半时,有 种分配。
from itertools import product
control = [20.0, 18.0, 22.0, 19.0]
treatment = [24.0, 16.0, 25.0, 20.0]
if len(control) != len(treatment) or not control:
raise ValueError("需要非空且一一对应的配对")
if any(x < 0 for x in control + treatment):
raise ValueError("订单率不能为负数")
diffs = [t - c for t, c in zip(treatment, control)]
observed = sum(diffs) / len(diffs)
null_means = [
sum(sign * diff for sign, diff in zip(signs, diffs)) / len(diffs)
for signs in product((-1, 1), repeat=len(diffs))
]
extreme = sum(abs(x) >= abs(observed) - 1e-12 for x in null_means)
p_value = extreme / len(null_means)
print("pair differences:", diffs)
print("estimated effect:", observed)
print("two-sided randomization p-value:", p_value)python差值为 ,估计值 ;16 个分配中双侧 。该检验只针对尖锐零假设,不等于允许效应异质时对“平均效应为零”的检验,也不自动给置信区间。常规独立样本 检验会把订单行误当随机化单位,夸大有效样本量。
生产分析先按实体、时区和冻结区块聚合指标分子与分母,再计算比率。不要先平均每分钟比率,除非估计目标就是分钟等权;同时报告分子、分母、缺失和异常流量。
05 区块长度与洗脱怎样选?#
区块过短,系统来不及稳定、频繁切换也增加故障;过长则配对少,趋势难抵消。用历史流量和安全回放测量:配置多久生效?旧队列、缓存或司机位置多久衰减?结果延迟多久出现?哪些星期和日内周期必须匹配?需要多少对达到目标功效?
区块长度覆盖策略生效、残留衰减和结果观测窗口。跨边界订单要预先决定按分配时间还是完成时间归属。若洗脱吞掉大半区块,Switchback 可能不适用,应考虑地理簇、并行市场或更长周期并重算功效。洗脱阈值须由独立历史或先导测量预定,报告排除时长;不能把它变成删掉不利分钟的工具。
06 工程状态、日志和调试#
**分配(assignment)**说明平台本该运行什么;**执行(execution)**说明服务实际启用了什么。日志至少保留实验/分配版本、实体/配对/区块 ID、预定与实际起止时间及其时区、分配与服务策略版本、洗脱和切换确认时间、部署/回滚、指标版本、分子分母、事件时间、安全护栏和人工干预。若一块安全回滚,按预注册规则处理整对或保留意向处理(intention-to-treat,按原分配分析),不能只删处理块而保留控制块。
| 现象 | 常见原因 | 先检查什么 |
|---|---|---|
| 效果随小时大幅改变 | 日夜需求或节假日失衡 | 画每对差值,核验随机顺序 |
| 切换后指标冲高再回落 | 缓存、队列或在途任务残留 | 对齐生效时刻,画相对时间曲线 |
| 用户级标准误特别小 | 把订单当随机化单位 | 还原配对区块,按设计推断 |
| 处理组总在后一个区块 | 手动排程、分配漏记 | 校验冻结清单和生成记录 |
| 效果随区块长度改变 | 残留或时间异质性 | 做预设洗脱敏感性分析 |
| 策略只在部分机器运行 | 配置传播失败 | 比对分配日志与服务版本 |
先画同一时区下的分配、执行版本、结果、护栏和外部事件;再画每对差值与区块顺序。逐对删除仅作稳健性诊断,不能用来挑主结果。
键盘可展开:Switchback 开跑前核对
Tab 聚焦摘要,Enter 或 Space 展开。确认随机化单位覆盖相互影响的市场;配对和随机顺序已冻结;洗脱与跨边界规则已预注册;功效按配对数计算;实际版本、回滚和护栏可从日志重建。原生 details 支持键盘并适配窄屏和页面主题。
07 它和相近方法的边界#
Switchback 让整个平台同时切换,容纳同时段市场干扰;代价是时间成为处理单位,区块之间也可能相互影响。簇随机化靠空间分隔降低用户干扰;若地理边界不阻止供需传播,Switchback 也未必解决跨市场干扰。交叉试验围绕稳定个体安排处理顺序;Switchback 常以共享市场时间窗口为单位。
若处理延迟很久、不可逆,或前一策略改变后续参与者构成,短区块轮换违反无残留假设。库存、长期留存、品牌认知等累积结果尤其不适合短周期切换。可考虑更长区块、平行簇或显式建模延迟效应;若没有足够独立实体和时间窗口,就应说明设计回答不了长期政策效果。
思考练习#
- 某交易市场有午晚高峰。设计 12 对区块,说明匹配规则、随机顺序和随机化单位。
- 切换后 20 分钟仍有旧队列影响。若区块 60 分钟,怎样设洗脱与结果窗口?功效付出什么代价?
- 差值为 。为何尖锐零假设下能翻转每对符号?存在异质性时结论边界是什么?
延伸阅读#
- Bojinov, Simchi-Levi & Zhao, Design and Analysis of Switchback Experiments (Management Science, 2023) ↗ — 时间区块设计与推断。
- Bojinov, Simchi-Levi & Zhao, 原论文预印本 ↗ — 公开全文。
- Li, Peng, Tang & Wang, Reducing Interference Bias in Online Marketplace Experiments Using Cluster Randomization (Management Science, 2022) ↗ — 市场簇随机化与 Switchback 的对照。
- Xiong et al., Temporal Switchback Experimentation (2022) ↗ — 区块长度、趋势和残留权衡。
上一篇把个体分配放回社群结构中,区分个人处理与邻居溢出;本篇改为整个平台跨时间随机切换,容纳同时段市场反馈,但要控制趋势和残留。后续将讨论如何通过受限随机化提升区块平衡,以及何时优先采用地理分簇。