观文听傑

返回

有限复核分钟被分配给人工能够增加价值的案例,其余案例沿固定基线继续执行的概念插画有限复核分钟被分配给人工能够增加价值的案例,其余案例沿固定基线继续执行的概念插画

上一篇审计自动、基线和人工三条执行路径,发现“人工均值更好”可能来自进入者不同,也可能只统计了完成工单。入口分母和队列对齐之后,接下来才是分配问题:今天只剩 4 分钟,应该把最不确定的案例交给人工吗?

模型最拿不准的案例,也可能让人工同样拿不准。另一类案例,模型看起来很自信,但人工掌握一份合法、及时且有用的补充材料,能够纠正错误。复核资源应该购买人工相对固定基线增加的价值。本篇围绕这个量,解释如何打分、怎样保留分钟预算、为什么离线分配最优仍需要独立审计。

01 先定义“人工比谁多做了什么”#

固定当前版本的非人工路径为基线策略(baseline policy)π0\pi_0。它可以是旧规则,也可以包含已经通过证据门槛的自动模型。人工路径(review protocol)πH\pi_H 则包含复核员可见资料、响应期限、实际动作、超时回退和结果观察窗。比较的是两套完整协议。

令 Xi∈RpX_i\in\mathbb R^p 为案例 ii 在路由前可见的 pp 个特征;Yi0Y_i^0 与 YiHY_i^H 为进入这两条路径后的潜在结果(potential outcomes),结果越大越好。定义条件复核增益(conditional review gain):

g(x)=E[YH−Y0∣X=x],bi=g^(Xi)−di.g(x)=\mathbb E[Y^H-Y^0\mid X=x],\qquad b_i=\widehat g(X_i)-d_i.

did_i 是额外复核直接成本,已换算成与 YY 一样的效用点;bib_i 是预期净增益。若直接成本已经包含在 YY 的定义中,就令 di=0d_i=0,避免重复扣除。复核耗时 sis_i 的单位是分钟,另放进资源约束。

在只做分类、两套预测都能与同一个独立真值比较的任务中,令 Y=−ℓY=-\ell,则 g(x)=E[ℓ0−ℓH∣X=x]g(x)=\mathbb E[\ell_0-\ell_H\mid X=x],即人工减少的损失。若路径会改变后续报名、退款或留存,必须比较路径的潜在结果,不能给同一人的两份预测打分后就声称测得了干预效果。

上一篇的路径均值是“实际走这条路的人表现如何”;这里的 g(x)g(x) 回答“相同特征的人换一条路径,平均会改变多少”。历史人工组均值减自动组均值通常不能直接充当 gg。

路由前 X + 冻结的基线/复核协议
                |
       预测两条路径的增量 g
                |
    扣直接成本 d -> 净增益 b
                |
    对照可用分钟与既有承诺
       /                    \
人工:预约分钟 -> 工单   基线:立即沿固定规则执行
       \                    /
       入口、执行、成熟结果、实际耗时账本
text

这张数据流的重点是:模型分数先经过资源准入,才生成工单。没有被选中者仍有明确执行路径;每个人都保留在入口结果分母中。对 nn 个案例,gain、direct_cost、reserve_minutes、chosen 都是形状 [n] 的数组,特征矩阵是 [n, p],基线与复核预测若并排存放则是 [n, 2],列顺序必须固定。

02 不确定性、错误概率、复核价值是三个量#

不确定性(uncertainty)描述模型证据有多散;错误概率(error probability)描述当前决策有多可能错;复核价值取决于人工能纠正多少,以及纠正值多少钱。前两个量都没有单独包含人工的能力和等待代价。

以下四行均为教学合成数值。假设同一批、同一协议下,g^\widehat g 已由独立探索数据估计。宽度是模型某效用估计区间的宽度,单位为效用点;它仅用于构造“按不确定性优先”的比较规则,不能当作复核增益区间。

案例区间宽度复核增益 g^\widehat g(点)直接成本 dd(点)净增益 bb(点)预约分钟 ss
A80.10.2-0.14
B22.20.22.04
C10.90.20.72
D40.90.20.72

还剩 4 分钟时,不确定性排序先选 A,用满预算,预测净增益为 −0.1-0.1。净价值分配选 B,预测净增益为 22。选 C、D 虽然同样用满 4 分钟,却只有 1.41.4。若还有 2 分钟,C 与 D 的净价值并列,应按预先声明的稳定案例键打破并列,而非临时选择报表好看者。

A 不是“无需处理”,它只是相对当前基线,额外复核没有正的预测净价值。如果基线不可接受,应先改变资格与安全协议;这里的优化只作用于两条路径都允许执行的人群。

03 预算约束作用在复核路径,不作用在处理动作#

令 zi∈{0,1}z_i\in\{0,1\} 表示是否分配人工路径,BB 为这批可用的复核分钟:

max⁡z∑ibizi,∑isizi≤B.\max_z\sum_i b_i z_i, \qquad \sum_i s_i z_i\le B.

这里的 zz 是路径选择,不能与“最终是否发邀请”的动作 AA 混用。人工复核可能最终决定不邀请;它依然占用了复核资源。预算也应先减去已预约工作量:若排班提供 30 分钟、已有承诺 22 分钟、另外保留 4 分钟应急余量,则本批 B=30−22−4=4B=30-22-4=4 分钟。

这个组合优化与之前资源约束的处理分配共享数学工具,本篇改变的是收益和动作的定义。所有 sis_i 相同时,取净增益为正的前 KK 人即可。耗时不同则需要考虑组合;已有背包算法可复用,不必把“不确定性/分钟”包装成最优规则。

引入每分钟的资源价格(resource price)λ≥0\lambda\ge0,每个案例的松弛分数为 bi−λsib_i-\lambda s_i,单位仍是效用点。它可解释拥堵时为何提高准入门槛;离散名单仍须核对总分钟,单一阈值不保证组合最优。did_i 是目标里的直接成本,λsi\lambda s_i 是稀缺资源的机会成本;只有定义不同,才应同时出现。

04 最小 Python:核对名单,再预约资源#

下面用枚举作极小规模的正确性参照,把四行手算变成可复核输出。它不重训路径增益模型;输入来自已冻结的预测器。itertools.product 生成全部 0/1 名单,算法明确检查每个组合的分钟与净增益。最多接受 20 个案例,生产批次应换用前文的动态规划或整数规划。

冻结基线、人工协议、增益模型、分钟预算与并列规则
对每个候选名单:
    若包含不合格案例或占用超过可用分钟:跳过
    计算相对全体走基线的净增益和
保留增益最高的名单;并列时优先少用分钟,再按案例键
原子地预约所需分钟;预约失败则刷新预算重算
生成工单;未选者执行固定基线
text

输入是长度 nn 的案例记录列表和整数分钟预算,输出是案例键、预测净增益和预约分钟。空名单的价值为零,因此不会为了用满预算而纳入负增益对象。等分时的案例键规则只保证可复现;持续排在后面的对象需要另外审计等待与覆盖。

枚举有 2n2^n 个名单,每个名单检查 O(n)O(n) 个对象,时间复杂度为 O(n2n)O(n2^n)、额外空间为 O(n)O(n);这是手算对照器的代价。浮点净增益的完全相等并不等于统计意义上的相同,生产的近似并列区间和优先规则应预先声明。Python 官方文档 ↗说明了笛卡尔积迭代器的行为。

05 预测分钟只能约束预测工作量#

把平均复核耗时当作 sis_i,只能承诺预测分钟不超预算。实际耗时有长尾,四张“平均 1 分钟”的工单可能吃掉十分钟。若需要硬限制,必须有可执行的最大服务时长、超时后的默认动作及一致的计时范围,并把预约上界写进 sis_i;否则应明确采用带余量的预测预算,并监控实际超额。

分位数预约也有边界:每张工单的 95% 耗时上界,不能自动变成整批有 95% 的概率不超额。案例数、耗时相关性与总量分布都会影响批次风险。生产需要用实际成批负载校准预算余量,并保留复核协议中的超时结果。

资源预约接口应接收 decision_id、名单版本、分钟数、预算窗口与幂等键;同一个名单重复投递只扣一次。多个调度器必须用同一事务或比较后交换(compare-and-swap)原子更新剩余分钟。简单地“先读剩余 4 分钟,再在进程里减 4”,会让两个进程同时承诺同一份资源。工单取消后释放预约、工单结束后结算实际分钟,都要有独立事件。

先手算再展开:B 的预约分钟从 4 变成 5,会选谁?

预算仍为 4 时,B 不再可行。C 与 D 合计占 4 分钟,预测净增益为 1.4,成为最优名单。这个变化完全来自资源契约,不能解释成模型认为 B 变得无益。若把 B 拆成两个可独立完成的复核阶段,需要重新定义动作和增益,原来的 0/1 路径假设已经改变。

06 独立审计要验证增量,也要验证兑现#

名单上的 ∑ibizi\sum_i b_i z_i 是预测值。不能拿“被选中者后来结果很好”验证它,因为选择器本来就在挑某类人。冻结增益模型、基线、复核协议和预算后,用未参与选择规则的数据比较整个路由策略与基线:同一入口分母、同一成熟时间窗、同一直接成本定义,同时报告实际预约、实耗、超时与群体覆盖。

若采用独立离线日志,应检查每个候选路径的支持与日志概率;如果增加转交量会拖慢其他工单,逐人的可加增益目标就会失效。此时需要评估路由规则加容量协议的整体系统,在独立服务单元或合适时间块上比较,不能把低负载下的人工收益直接乘到全量。

现象最先检查修正方向
最难案例全部被转交,收益很低分数是否只有不确定性估计人工相对基线的增益
计划不超额,实际长期加班ss 是均值还是可执行上界校准批次余量、超时协议与实际计时
名单变好,系统总体变差基线人群、排队者是否被漏掉回到全入口结果与总成本
相同预算被承诺两次预约是否原子、幂等用共享账本串行结算
训练增益很高,审计接近零同一数据是否同时估计和选名单分离模型学习、规则选择与最终审计

主动学习(active learning)通常选择有助于改进未来模型的标签;这里分配复核是改善当前案例的结果。选择性预测(selective prediction)控制自动接收子集的风险;预算转交还必须建模人工与基线之间的互补性。两种目标都可以合理,但不能用当前工单预算在二者之间悄悄切换。

思考练习#

  1. 若 B 的直接成本从 0.2 增加到 1.0,四分钟预算下最优名单是什么?预算不变与效用改变分别影响哪一列?
  2. 为什么模型不确定性很高,仍可能有负的净复核价值?请各给一个“人工也不擅长”和“等待损失超过纠错收益”的例子。
  3. 两个进程同时收到预算还剩四分钟的快照。设计最小资源预约契约,使它们不会生成两张各占四分钟的工单,并说明重试、取消和超时如何记账。

相关工作#

  1. Okati, De & Rodriguez (2021), Differentiable Learning Under Triage ↗:刻画模型与人工误差差异决定的转交规则,并研究预测器与分诊策略的联合学习。
  2. Mozannar & Sontag (2020), Consistent Estimators for Learning to Defer to an Expert ↗:构造学习转交的损失与一致性分析,为“人工不总是完美”的建模提供基础。
  3. Madras, Pitassi & Zemel (2018), Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer ↗:把外部决策者能力及偏差纳入整体系统评价。
  4. Athey & Wager (2021), Policy Learning with Observational Data ↗:研究用因果分数学习受约束策略;其处理选择思想可用于这里的路径增益学习,但路径和容量仍须另行定义。

下一篇预告#

分配器已经能消费复核增益,但历史日志往往只把最难的人交给人工。下一篇将从这一支持缺口出发,设计带已知概率的随机路径探索,生成折外增益分数,学习“哪类人交给人工才会更好”。

复核时间只够一部分人,应该转交谁?增量价值与分钟预算
https://zwjcode.cn/blog/review-gain-budget-routing
作者 傑
发布于 2026年10月28日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。