复核时间只够一部分人,应该转交谁?增量价值与分钟预算
区分模型不确定性与人工复核增益,用基线路径作反事实参照,把复核直接成本、占用分钟和已承诺工作量接入可执行的转交规则。
上一篇审计自动、基线和人工三条执行路径,发现“人工均值更好”可能来自进入者不同,也可能只统计了完成工单。入口分母和队列对齐之后,接下来才是分配问题:今天只剩 4 分钟,应该把最不确定的案例交给人工吗?
模型最拿不准的案例,也可能让人工同样拿不准。另一类案例,模型看起来很自信,但人工掌握一份合法、及时且有用的补充材料,能够纠正错误。复核资源应该购买人工相对固定基线增加的价值。本篇围绕这个量,解释如何打分、怎样保留分钟预算、为什么离线分配最优仍需要独立审计。
01 先定义“人工比谁多做了什么”#
固定当前版本的非人工路径为基线策略(baseline policy)。它可以是旧规则,也可以包含已经通过证据门槛的自动模型。人工路径(review protocol) 则包含复核员可见资料、响应期限、实际动作、超时回退和结果观察窗。比较的是两套完整协议。
令 为案例 在路由前可见的 个特征; 与 为进入这两条路径后的潜在结果(potential outcomes),结果越大越好。定义条件复核增益(conditional review gain):
是额外复核直接成本,已换算成与 一样的效用点; 是预期净增益。若直接成本已经包含在 的定义中,就令 ,避免重复扣除。复核耗时 的单位是分钟,另放进资源约束。
在只做分类、两套预测都能与同一个独立真值比较的任务中,令 ,则 ,即人工减少的损失。若路径会改变后续报名、退款或留存,必须比较路径的潜在结果,不能给同一人的两份预测打分后就声称测得了干预效果。
上一篇的路径均值是“实际走这条路的人表现如何”;这里的 回答“相同特征的人换一条路径,平均会改变多少”。历史人工组均值减自动组均值通常不能直接充当 。
路由前 X + 冻结的基线/复核协议
|
预测两条路径的增量 g
|
扣直接成本 d -> 净增益 b
|
对照可用分钟与既有承诺
/ \
人工:预约分钟 -> 工单 基线:立即沿固定规则执行
\ /
入口、执行、成熟结果、实际耗时账本text这张数据流的重点是:模型分数先经过资源准入,才生成工单。没有被选中者仍有明确执行路径;每个人都保留在入口结果分母中。对 个案例,gain、direct_cost、reserve_minutes、chosen 都是形状 [n] 的数组,特征矩阵是 [n, p],基线与复核预测若并排存放则是 [n, 2],列顺序必须固定。
02 不确定性、错误概率、复核价值是三个量#
不确定性(uncertainty)描述模型证据有多散;错误概率(error probability)描述当前决策有多可能错;复核价值取决于人工能纠正多少,以及纠正值多少钱。前两个量都没有单独包含人工的能力和等待代价。
以下四行均为教学合成数值。假设同一批、同一协议下, 已由独立探索数据估计。宽度是模型某效用估计区间的宽度,单位为效用点;它仅用于构造“按不确定性优先”的比较规则,不能当作复核增益区间。
| 案例 | 区间宽度 | 复核增益 (点) | 直接成本 (点) | 净增益 (点) | 预约分钟 |
|---|---|---|---|---|---|
| A | 8 | 0.1 | 0.2 | -0.1 | 4 |
| B | 2 | 2.2 | 0.2 | 2.0 | 4 |
| C | 1 | 0.9 | 0.2 | 0.7 | 2 |
| D | 4 | 0.9 | 0.2 | 0.7 | 2 |
还剩 4 分钟时,不确定性排序先选 A,用满预算,预测净增益为 。净价值分配选 B,预测净增益为 。选 C、D 虽然同样用满 4 分钟,却只有 。若还有 2 分钟,C 与 D 的净价值并列,应按预先声明的稳定案例键打破并列,而非临时选择报表好看者。
A 不是“无需处理”,它只是相对当前基线,额外复核没有正的预测净价值。如果基线不可接受,应先改变资格与安全协议;这里的优化只作用于两条路径都允许执行的人群。
03 预算约束作用在复核路径,不作用在处理动作#
令 表示是否分配人工路径, 为这批可用的复核分钟:
这里的 是路径选择,不能与“最终是否发邀请”的动作 混用。人工复核可能最终决定不邀请;它依然占用了复核资源。预算也应先减去已预约工作量:若排班提供 30 分钟、已有承诺 22 分钟、另外保留 4 分钟应急余量,则本批 分钟。
这个组合优化与之前资源约束的处理分配共享数学工具,本篇改变的是收益和动作的定义。所有 相同时,取净增益为正的前 人即可。耗时不同则需要考虑组合;已有背包算法可复用,不必把“不确定性/分钟”包装成最优规则。
引入每分钟的资源价格(resource price),每个案例的松弛分数为 ,单位仍是效用点。它可解释拥堵时为何提高准入门槛;离散名单仍须核对总分钟,单一阈值不保证组合最优。 是目标里的直接成本, 是稀缺资源的机会成本;只有定义不同,才应同时出现。
04 最小 Python:核对名单,再预约资源#
下面用枚举作极小规模的正确性参照,把四行手算变成可复核输出。它不重训路径增益模型;输入来自已冻结的预测器。itertools.product 生成全部 0/1 名单,算法明确检查每个组合的分钟与净增益。最多接受 20 个案例,生产批次应换用前文的动态规划或整数规划。
冻结基线、人工协议、增益模型、分钟预算与并列规则
对每个候选名单:
若包含不合格案例或占用超过可用分钟:跳过
计算相对全体走基线的净增益和
保留增益最高的名单;并列时优先少用分钟,再按案例键
原子地预约所需分钟;预约失败则刷新预算重算
生成工单;未选者执行固定基线textfrom itertools import product
from math import isfinite
def choose_review(rows, budget):
if type(budget) is not int or budget < 0 or len(rows) > 20:
raise ValueError("示例要求非负整数预算,案例数不超过 20")
rows = sorted(rows, key=lambda r: r["id"])
if len({r["id"] for r in rows}) != len(rows):
raise ValueError("案例键重复")
for r in rows:
if not all(isfinite(r[k]) for k in ("gain", "direct_cost")):
raise ValueError("增益与直接成本必须有限")
if r["direct_cost"] < 0:
raise ValueError("直接成本须非负")
if type(r["minutes"]) is not int or r["minutes"] <= 0:
raise ValueError("预约分钟须为正整数")
# 最小化 (-净增益, 分钟数, 稳定案例键元组)。空名单也是候选。
best_key, best = None, None
for flags in product((0, 1), repeat=len(rows)):
chosen = [r for r, take in zip(rows, flags) if take]
spent = sum(r["minutes"] for r in chosen)
if spent > budget:
continue
gain = sum(r["gain"] - r["direct_cost"] for r in chosen)
ids = tuple(r["id"] for r in chosen)
key = (-gain, spent, ids)
if best_key is None or key < best_key:
best_key, best = key, dict(ids=ids, net_gain=gain, minutes=spent)
return best
rows = [
dict(id="A", gain=0.1, direct_cost=0.2, minutes=4),
dict(id="B", gain=2.2, direct_cost=0.2, minutes=4),
dict(id="C", gain=0.9, direct_cost=0.2, minutes=2),
dict(id="D", gain=0.9, direct_cost=0.2, minutes=2),
]
plan = choose_review(rows, budget=4)
print(plan)
# {'ids': ('B',), 'net_gain': 2.0, 'minutes': 4}
print(choose_review(rows, budget=2))
# {'ids': ('C',), 'net_gain': 0.7, 'minutes': 2}python输入是长度 的案例记录列表和整数分钟预算,输出是案例键、预测净增益和预约分钟。空名单的价值为零,因此不会为了用满预算而纳入负增益对象。等分时的案例键规则只保证可复现;持续排在后面的对象需要另外审计等待与覆盖。
枚举有 个名单,每个名单检查 个对象,时间复杂度为 、额外空间为 ;这是手算对照器的代价。浮点净增益的完全相等并不等于统计意义上的相同,生产的近似并列区间和优先规则应预先声明。Python 官方文档 ↗说明了笛卡尔积迭代器的行为。
05 预测分钟只能约束预测工作量#
把平均复核耗时当作 ,只能承诺预测分钟不超预算。实际耗时有长尾,四张“平均 1 分钟”的工单可能吃掉十分钟。若需要硬限制,必须有可执行的最大服务时长、超时后的默认动作及一致的计时范围,并把预约上界写进 ;否则应明确采用带余量的预测预算,并监控实际超额。
分位数预约也有边界:每张工单的 95% 耗时上界,不能自动变成整批有 95% 的概率不超额。案例数、耗时相关性与总量分布都会影响批次风险。生产需要用实际成批负载校准预算余量,并保留复核协议中的超时结果。
资源预约接口应接收 decision_id、名单版本、分钟数、预算窗口与幂等键;同一个名单重复投递只扣一次。多个调度器必须用同一事务或比较后交换(compare-and-swap)原子更新剩余分钟。简单地“先读剩余 4 分钟,再在进程里减 4”,会让两个进程同时承诺同一份资源。工单取消后释放预约、工单结束后结算实际分钟,都要有独立事件。
先手算再展开:B 的预约分钟从 4 变成 5,会选谁?
预算仍为 4 时,B 不再可行。C 与 D 合计占 4 分钟,预测净增益为 1.4,成为最优名单。这个变化完全来自资源契约,不能解释成模型认为 B 变得无益。若把 B 拆成两个可独立完成的复核阶段,需要重新定义动作和增益,原来的 0/1 路径假设已经改变。
06 独立审计要验证增量,也要验证兑现#
名单上的 是预测值。不能拿“被选中者后来结果很好”验证它,因为选择器本来就在挑某类人。冻结增益模型、基线、复核协议和预算后,用未参与选择规则的数据比较整个路由策略与基线:同一入口分母、同一成熟时间窗、同一直接成本定义,同时报告实际预约、实耗、超时与群体覆盖。
若采用独立离线日志,应检查每个候选路径的支持与日志概率;如果增加转交量会拖慢其他工单,逐人的可加增益目标就会失效。此时需要评估路由规则加容量协议的整体系统,在独立服务单元或合适时间块上比较,不能把低负载下的人工收益直接乘到全量。
| 现象 | 最先检查 | 修正方向 |
|---|---|---|
| 最难案例全部被转交,收益很低 | 分数是否只有不确定性 | 估计人工相对基线的增益 |
| 计划不超额,实际长期加班 | 是均值还是可执行上界 | 校准批次余量、超时协议与实际计时 |
| 名单变好,系统总体变差 | 基线人群、排队者是否被漏掉 | 回到全入口结果与总成本 |
| 相同预算被承诺两次 | 预约是否原子、幂等 | 用共享账本串行结算 |
| 训练增益很高,审计接近零 | 同一数据是否同时估计和选名单 | 分离模型学习、规则选择与最终审计 |
主动学习(active learning)通常选择有助于改进未来模型的标签;这里分配复核是改善当前案例的结果。选择性预测(selective prediction)控制自动接收子集的风险;预算转交还必须建模人工与基线之间的互补性。两种目标都可以合理,但不能用当前工单预算在二者之间悄悄切换。
思考练习#
- 若 B 的直接成本从 0.2 增加到 1.0,四分钟预算下最优名单是什么?预算不变与效用改变分别影响哪一列?
- 为什么模型不确定性很高,仍可能有负的净复核价值?请各给一个“人工也不擅长”和“等待损失超过纠错收益”的例子。
- 两个进程同时收到预算还剩四分钟的快照。设计最小资源预约契约,使它们不会生成两张各占四分钟的工单,并说明重试、取消和超时如何记账。
相关工作#
- Okati, De & Rodriguez (2021), Differentiable Learning Under Triage ↗:刻画模型与人工误差差异决定的转交规则,并研究预测器与分诊策略的联合学习。
- Mozannar & Sontag (2020), Consistent Estimators for Learning to Defer to an Expert ↗:构造学习转交的损失与一致性分析,为“人工不总是完美”的建模提供基础。
- Madras, Pitassi & Zemel (2018), Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer ↗:把外部决策者能力及偏差纳入整体系统评价。
- Athey & Wager (2021), Policy Learning with Observational Data ↗:研究用因果分数学习受约束策略;其处理选择思想可用于这里的路径增益学习,但路径和容量仍须另行定义。
下一篇预告#
分配器已经能消费复核增益,但历史日志往往只把最难的人交给人工。下一篇将从这一支持缺口出发,设计带已知概率的随机路径探索,生成折外增益分数,学习“哪类人交给人工才会更好”。