观文听傑

返回

自动决策、基线回退和人工复核三条通道共同汇入审计账本的概念插画自动决策、基线回退和人工复核三条通道共同汇入审计账本的概念插画

上一篇把效应不确定性写进拒绝决策规则:证据不足时,系统执行旧策略或交给人工。于是新的问题出现了:自动路径的转化率是 50%,人工路径是 100%,是不是应该把更多用户交给人工?如果人工的“100%”只来自一名已经完成复核且结果成熟的用户,而排队者和缺失标签都消失在报表里,这个结论就站不住。

本篇建立一份按入口路径保留全部决策的审计表。沿用之前的一决策一行回放数据,只增加三个紧密关联的检查:入口分母是否完整、结果是否成熟且被观测、人工路径是否承担得起实际工作量。读者最终会得到一段可以直接运行的 Python 审计程序。

01 入口路径、证据状态和最终动作,各记录一列#

假设系统决定是否发送一次辅导邀请,结果是“决策后 7 天内是否完成报名”。邀请只是动作,报名才是结果。入口路径(entry route)记录这一决策最初由谁负责;拒绝状态(abstention status)记录模型为何没有自动判断;最终动作(executed action)记录实际发送或不发送。

入口路径进入条件与责任最终动作可以是什么?审计时保留什么?
auto:自动决策模型证据通过预定门槛发送或不发送自动决定、执行失败及其结果
baseline:基线回退模型拒绝后执行固定版本的旧策略由旧策略决定拒绝原因、旧策略版本、实际动作
review:人工复核模型拒绝后提交复核工单人工决定;超时可执行默认动作排队、完成、取消、超时和工作量

每次合格决策只能归入一个入口路径。明确无益而自动不干预的情况归入 auto;这里的 baseline 专指拒绝后回退,两者通过证据状态区分。人工复核后即使执行旧策略,也继续归入 review,另外记录终态和最终动作。这样才看得见“先排队再超时回退”的代价。

可以把一行数据读成下面这条短流程;每个分支最终都要回到账本:

合格决策:固定 decision_id 与入口时间
  ├─ auto:自动决定 → 执行回执
  ├─ baseline:旧策略 → 执行回执
  └─ review:排队 → 人工 / 超时 / 取消
                     ↓
同一入口键:连接成熟结果与实际工作量
text

对 nn 个决策,入口特征可表示为 X∈Rn×pX\in\mathbb R^{n\times p},其中 pp 是处理前特征数;路径 RR、拒绝状态 SS、最终动作 AA 和结果 YY 都是形状 [n] 的数组,枚举值与缺失值有独立语义。若路径选择器输出概率,完整概率矩阵是 [n, 3],列顺序固定为 auto、baseline、review;它与“发送邀请的概率”是两种不同对象。

路径规则、旧策略、模型、复核协议与结果定义都需要版本号。人工看到的资料范围也属于协议:如果复核员能看到模型没有的处理前信息,之后做因果评估时就要认真处理这部分选择机制。

02 三个分母:进入多少、应该成熟多少、实际观测多少#

先冻结入口队列(entry cohort):在指定时间窗内产生、符合资格的所有决策。以 rr 表示三种路径之一,定义

Nr=∑i=1n1(Ri=r),q^r=Nr/n.N_r=\sum_{i=1}^n\mathbf 1(R_i=r),\qquad \widehat q_r=N_r/n.

NrN_r 是该路径进入数,q^r\widehat q_r 是路径占比;1\mathbf 1 是条件成立时取 1 的指示函数(indicator function)。执行失败、复核取消和超时者都属于这个分母。人工完成数可以另报,但不能替换进入数。

结果时间窗从入口决策时间开始。设 tit_i 为入口时间,HH 为结果观察窗长度,LL 为标签保护延迟,TT 为报表截点,WW 为结果事件水位(watermark),成熟指示为

mi(T)=1(ti+H+L≤T) 1(ti+H≤W).m_i(T)=\mathbf 1(t_i+H+L\le T)\, \mathbf 1(t_i+H\le W).

延续前文的设定,日历窗口和管道水位必须同时通过。若人工等了三天才处理,这三天仍计入路径结果;否则等待的损失会被移到观察窗之外。研究“执行后七天结果”需要另立结果定义,同时保留入口到执行的等待,不可在同一列中悄悄换时钟。

令 oi(T)o_i(T) 表示该决策的标签在截点前已经可用。成熟数、成熟且观测数、成熟标签完整率分别为

Mr=∑i1(Ri=r)mi,Or=∑i1(Ri=r)mioi,κ^r=Or/Mr.M_r=\sum_i\mathbf 1(R_i=r)m_i,\quad O_r=\sum_i\mathbf 1(R_i=r)m_io_i,\quad \widehat\kappa_r=O_r/M_r.

分母为零时,完整率是“不可计算”,显示为空值。二元结果的已观测均值为

Y‾r,obs=∑i1(Ri=r)mioiYiOr.\overline Y_{r,obs}= \frac{\sum_i\mathbf 1(R_i=r)m_io_iY_i}{O_r}.

它描述该路径成熟且已有标签的子集。只有 Or=Mr>0O_r=M_r>0 时,才能把它直接报告为该路径整个成熟队列的均值。若缺失集中在慢设备或失败工单,已观测子集就会被系统性筛选。标签 None、未成熟和真实的零必须区分;水位声明完整而仍缺标签时,应报告数据异常并查回放表的连接规则。

03 六行手算:100% 的人工结果包含了谁?#

以下全部是教学用合成数据。报表截点为 10 月 20 日 12:00,结果窗 H=7H=7 天,保护延迟 L=1L=1 天,水位到 10 月 19 日 00:00;时间均为北京时间。已知标签都在截点前入库。

决策入口时间路径执行/复核状态7 日结果本次如何计数
a110/10 09:00auto完成1成熟、已观测
a210/10 09:00auto完成0成熟、已观测
b110/11 09:00baseline完成1成熟、已观测
b210/11 09:00baseline执行失败缺失成熟、标签缺失
h110/11 09:00review10/12 完成,耗时 12 分钟1成熟、已观测
h210/19 09:00review尚待复核未知未成熟、仍在队列

三个路径的进入数都是 Nr=2N_r=2,占比都是 1/31/3。自动路径 M=O=2M=O=2,均值 (1+0)/2=0.5(1+0)/2=0.5。基线路径 M=2,O=1M=2,O=1,完整率 1/21/2;已观测均值虽然是 1,整个成熟队列的均值暂不报告。人工路径 M=O=1M=O=1,成熟均值为 1,但只有一名成熟对象,另一名还在等待。

因此可以说“本快照的人工路径有 1 名成熟对象,观测结果为 1,另有 1 名待复核”。把这句话缩写成“人工比自动提高 50 个百分点”,就把入口选择、样本量、观察时间和工作量一起藏起来了。

04 容量审计:待办不能随着报表窗口消失#

结果表按入口队列统计,容量表按日历区间统计。今天完成的工单可能是昨天进入的,不能拿“今天进入且今天完成”的子集估计整个队列的消化能力。

对一个日历区间,令 QstartQ_{start} 和 QendQ_{end} 分别为期初、期末尚未关闭的工单数;AA 为进入数,CC 为人工完成数,DD 为取消或超时等其他关闭数,则

Qend=Qstart+A−C−D.Q_{end}=Q_{start}+A-C-D.

这里的队列包括等待与处理中工单。此式假定每个工单只进入一次、只关闭一次;重新打开需要单独记录重开流入。D 应拆出取消与超时,避免以大量超时关闭制造“队列恢复”的假象。

在六行例子的完整复核队列中,期初为零,两人进入,一人完成,期末剩一人:0+2−1−0=10+2-1-0=1。若生产中另有历史未结工单,必须加入期初快照。结果审计的六行表只能给出该入口队列仍未关闭的工单数。

工作量另用分钟核算。设区间内完成工单的平均实耗为 ss 分钟,每小时进入 λ\lambda 单,则 λs\lambda s 是粗略的每小时工作分钟需求。例如每小时进入 6 单、平均每单 12 分钟,需求为 72 分钟/小时,已超过一人每小时最多 60 分钟的理论上限。排班、休息、复杂病例和到达波动会进一步吃掉余量;需求均值低于容量也仍可能出现长等待。上线应同时看未结工单年龄、超时比例、进行中实耗与已完成耗时分布。

05 可运行 Python:报表必须保留空值和待办#

输入是前文回放程序已按截点冻结、去重的一决策一行表。y 是按同一结果定义产生的二元标签或 None,已过滤截点之后才入库的事件。函数输出三个路径的计数、完整率、均值和本队列未关闭工单数。它进行报表聚合;策略模型的训练发生在此前,运行期只读取冻结规则的决策日志。

聚合过程可以先写成伪代码,关键是先计入口,再检查结果:

对每个唯一决策:
  按入口路径增加 N;未关闭的人工工单增加待办数
  若结果窗与水位均成熟:增加 M
    若标签可用:增加 O,累加结果
对每条路径:
  输出 N、M、O、完整率与已观测均值
  只有 M > 0 且 O = M,才输出整个成熟队列均值
另外对完整工单事件流检查期初 + 流入 - 关闭 = 期末
text

datetime.fromisoformat 将带偏移的字符串解析为明确时刻,timedelta 表达观察窗;二者的语义可查 Python 官方文档 ↗。代码使用标准库,不依赖持续变化的机器学习包接口。set 检查决策键唯一性,None 保留“无法报告”的状态。序列化到 JSON 时保留 null,前端显示“缺失”或“尚未成熟”,不要格式化成 0.00%。

生产调用前固定入口起止时间,排除截点后的执行回执、标签与工单状态;保存源快照、结果定义及水位。上述示例把这些事件预处理留给上一篇的回放程序,聚合阶段仍对重复键、路径枚举、二元标签和时间边界作检查。全局队列平衡需要完整工单事件流与期初快照,不能直接由这份入口队列表替代。

06 从路径报表到因果判断,中间还有一步#

人工路径的均值估计的是 E[Y∣R=review]\mathbb E[Y\mid R=review] 在特定成熟队列中的表现。要回答“把同一个合格对象交给人工会不会更好”,目标是潜在路径结果之差,例如

E[Yreview−Yauto∣X∈E],\mathbb E[Y^{review}-Y^{auto}\mid X\in\mathcal E],

其中 E\mathcal E 是预先定义、两条路径都可行的决策人群;YrY^r 包含按既定协议进入路径 rr 后的等待、动作与结果。二者的区别来自路径选择:系统往往把最难、区间最宽的对象送给人工。

可在两条路径均可接受的边界人群中随机分配路径,并按分配路径分析全部对象,记录超时和交叉执行。若依赖历史日志进行离线估计,则需要决策时信息足以控制混杂、路径概率真实可得且目标路径有支持,以及固定的复核与容量协议。把最终发送动作的概率当作路径分配概率,会给估计器错误的分母。

容量也可能制造对象间干扰(interference):多转入一批人会拉长其他人的等待。小流量试验中观察到的人工表现,扩到全量后未必保持。实验应预先写明容量、准入和超时协议,必要时按时间块或独立服务单元设计分配;协议改变就重新定义待评估的系统。

07 常见错误、调试顺序与方法边界#

现象优先检查对应修正
人工结果很好,投诉却上升是否只留下已完成工单恢复入口分母,列出未结年龄和超时
基线路径突然跌到零None 是否被转成 0分开未知、未成熟、真实负例
拒绝率没变,人工量却翻倍入口总量及回退/人工分支比例同报率与人数,核对路由版本
队列变短,完成量未增加超时、取消、重开与期初数逐类对账,检查队列守恒
人工均值高于自动均值入口人群、成熟时间、标签缺失报描述性差异;用合适设计估计因果效果

调试从计数开始:确认 sum(N_r) == n,再确认 0≤Or≤Mr≤Nr0\le O_r\le M_r\le N_r;检查零标签确实进入分母,随后比较各路径的时间构成、缺失和执行状态。最后对人工队列核对期初、流入、各类关闭和期末快照。顺序反过来,容易先给脏数据拟合出一套复杂解释。

自测:如果把 h2 的状态改成超时,哪几项会变?

本入口队列未关闭工单从 1 变为 0,队列的其他关闭数增加 1;入口路径仍为 review,进入数仍为 2。若截点和结果水位不变,h2 仍未成熟,人工成熟数与成熟均值都不变。若程序把 h2 改归 baseline,说明它覆盖了入口路径,无法再审计超时回退的成本。

选择性预测(selective prediction)侧重自动接收子集的风险与覆盖率;学习转交(learning to defer)把下游专家能力纳入路径学习目标;本篇的路径审计检查冻结系统实际处理了谁、哪些结果可报告、资源流向哪里。双重稳健离线评估则在识别与支持条件成立时估计候选策略价值。这些环节可以接起来,路径报表中的最高均值不能直接当作最优路由规则。

思考练习#

  1. b2 的真实标签补到且为 0,其余不变。基线路径的完整率、已观测均值、成熟均值各是多少?若它是因为执行失败而缺失,原来“只看已观测”的报表偏向什么方向?
  2. 某小时期初未结 20 单、进入 12 单、人工完成 8 单、超时关闭 5 单,期末为 19 单。队列是否守恒?仅凭未结数下降,能否说人工能力足够?还应同时报告什么?
  3. 设计一次只覆盖边界人群的自动/人工路径实验。写清分配单位、路径概率、入口结果时钟、超时动作与人工容量,并说明如何保留未执行分配路径的对象。

相关工作#

  1. Geifman & El-Yaniv (2019), SelectiveNet: A Deep Neural Network with an Integrated Reject Option ↗:联合学习预测与拒绝,围绕自动覆盖子集上的风险—覆盖率权衡组织目标。
  2. Madras, Pitassi & Zemel (2018), Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer ↗:把外部决策者的行为与偏差纳入转交机制,强调评估整个人机系统。
  3. Mozannar & Sontag (2020), Consistent Estimators for Learning to Defer to an Expert ↗:通过代价敏感学习构造具有一致性性质的转交学习代理目标。
  4. Dudík, Langford & Li (2011), Doubly Robust Policy Evaluation and Learning ↗:结合结果预测与日志概率校正,为有支持的离线策略价值估计提供方法基础。

下一篇预告#

路径账本揭示了人工能力与等待成本,下一步要决定“哪些拒绝案例值得占用有限复核分钟”。下一篇将把预期增益与复核成本写进预算约束的转交规则,并用独立审计比较它与简单按不确定性排序的差别。

拒绝自动决策之后,系统真的更好吗?三条执行路径的结果与容量审计
https://zwjcode.cn/blog/fallback-path-outcome-capacity-audit
作者 傑
发布于 2026年10月28日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。