同样送人工,为何选错复核员仍会变差?带专家容量的联合分配
把人工视为多个能力互补的专家,用案例与专家增益矩阵、资格掩码和容量约束构造联合分配,并用三行手算及纯 Python 复核逐案贪心的失败。
前两篇从复核分钟的价值分配推进到用随机探索日志学习复核增益,暂时把人工视为一条固定服务路径。现在考虑多个专家:甲擅长识别材料矛盾,乙擅长理解补充说明;两人本班都只能再接一个案例。把每个案例单独交给分数最高的专家,可能让“只有甲能做好”的案例失去机会。
本篇只解决多个专家容量有限时,怎样联合决定“哪位专家处理哪个案例”。核心有三个:把增益向量扩展为矩阵、用联合分配保留专长的机会成本、为缺少专家反馈的格子保留支持边界。我们不重新训练专家模型,而是明确预测模型与组合决策层的接口。
01 从一个人工分数,扩展为案例与专家矩阵#
沿用同一入口时间窗、报名结果与效用换算。基线 是未转交时的明确执行路径;专家 对应固定的资料权限、操作规程和超时动作。对第 个案例定义
表示交给专家 的路径。对任一路径 ,令 : 是包含既定等待与超时协议的路径结果, 将结果换成效用点, 是已换算到效用点的直接费用。 因而是扣除直接费用后的路径增益;复核分钟另作约束,费用不再重复扣除。预测矩阵写为 , 为本批案例数, 为可用专家数。特征 为 [n, p], 是入口时可用的处理前特征数;分钟矩阵 、资格掩码 也是 [n, m];专家剩余预算 为 [m]。
资格掩码(Eligibility Mask) 表示这一组合是否允许:执业资格、语言能力、利益冲突和资料权限都可能使格子不可用。未知增益与禁止分配要分开记录;不能把未知格子填成零后告诉求解器“这是证据支持的零价值”。
案例特征 X[n,p] + 专家身份 / 专长 / 协议版本
↓
增益 G[n,m] + 预留分钟 C[n,m] + 资格 E[n,m]
↓ + 剩余预算 b[m]
联合分配 Z[n,m]
↓
每案例至多一位专家;未分配案例继续走基线
↓
专家身份、预测值、资格版本、预算预留与执行事件入账text不同专家对应的各列预测不能由一个“全局平均正确率”替代。专家的优势可能只发生在某类案例,且随培训、疲劳和工作协议改变。还要明确资料是否来自入口之前;事后才能看到的结果不能进入在线分配特征。
02 联合分配怎样把“占用别人需要的专家”写进约束?#
用 表示是否将案例 分给专家 。固定预测值后,目标为
并同时满足
第一项限制一个案例至多由一位专家处理;第二项约束每位专家的预留分钟;第三项限制合法组合。某行全零就走基线,其相对基线的增益为零。此加法目标在固定负载与复核协议范围内使用;拥堵若改变专家表现,就要更新增益模型或采用系统级实验。目标允许空置容量,避免为了“排满班次”分配负增益案例。必须人工处理的案例属于另外的服务义务,先处理其可行性与资源承诺,再分配本篇的可选案例。
当所有 、 是整数名额时,这是带专家容量的二部图匹配(Capacitated Bipartite Matching),可以转成最小费用流(Minimum-Cost Flow):源点到案例的容量为 1,案例到允许专家的边费用为 ,专家到汇点的容量为 ,另给每个案例一条费用为 0 的基线通道。费用取负使最小费用对应最大增益;基线通道使人可以不占专家名额。
若 随案例与专家变化,普通的单位流容量不能表达“这个案例消耗三分钟、另一个消耗七分钟”。问题进入广义指派(Generalized Assignment)一类整数优化,通常需要更一般的约束求解。先把分钟除以平均时长变成名额,会改变可行集合;使用这种近似时必须报告误差和实际预算偏离。
03 三行手算:最强的专家应该留给谁?#
以下是合成教学增益,每个可分配案例均占一个名额;甲、乙各只有一个剩余名额。表中的“禁止”来自资格掩码,不能参与比较。
| 案例 | 甲的增益(效用点) | 乙的增益(效用点) | 基线增益 |
|---|---|---|---|
| A | 0.90 | 0.80 | 0 |
| B | 0.85 | 0.10 | 0 |
| C | 禁止 | 0.60 | 0 |
若依次处理 A、B、C,每次找当前能用的最高正增益专家:A 先占甲,B 再占乙,C 走基线;总增益 。调整到达顺序就可能改变名单,说明这是一条在线贪心规则。
即使把所有允许边按增益全局排序,先取最大的 A—甲,再取 C—乙,总增益也只有 。联合分配则把 A 交给乙、B 交给甲,总增益 。
为什么把 A 交给“第二好”的乙反而更好?甲换成乙使 A 损失 ,却让 B 获得甲而多出 。比较组合时还要考虑被挤出的 C;A—乙、B—甲的 1.65 仍高于 A—甲、C—乙的 1.50。专家稀缺性体现在替代机会,而不是某一格分数最高。
先预测:乙的容量增加到两个名额,还要把 A 交给乙吗?
要。A—乙、B—甲、C—乙得到 ;若 A—甲,则 B、C 交乙只得到 。容量增加不意味着可以忘掉专长替代关系。
04 可运行 Python:枚举完整分配,输出容量占用#
下面用极小规模穷举作为正确性基准。每个案例可取基线 -1 或专家索引 0...m-1,共 个分配。逐个分配计算预算,时间复杂度为 ;大批次应使用前述流算法或整数求解器。
输入为唯一案例键、唯一专家键、gain[n][m]、minutes[n][m]、allowed[n][m] 和 budget[m]。输出是每个案例的路径、预测总增益和每位专家的预留分钟。示例用 1 分钟的统一预约长度代表一个名额,因此数值与手算一致。真实时长可统一换算为整数秒;若用分钟离散化,向上取整预留并记录舍入规则,避免向下取整造成隐性超额。预测耗时只能约束预测工作量,实际超额仍需单独审计。
from itertools import product
from math import isfinite
def assign_experts(ids, experts, gain, minutes, allowed, budget):
n, m = len(ids), len(experts)
if len(set(ids)) != n or len(set(experts)) != m or "baseline" in experts:
raise ValueError("案例与专家键须唯一,baseline 为保留名称")
if len(budget) != m or any(type(b) is not int or b < 0 for b in budget):
raise ValueError("预算须为每专家的非负整数分钟")
for matrix in (gain, minutes, allowed):
if len(matrix) != n or any(len(row) != m for row in matrix):
raise ValueError("矩阵必须是 n × m")
for i in range(n):
for j in range(m):
g, c, ok = gain[i][j], minutes[i][j], allowed[i][j]
if type(g) not in (int, float) or not isfinite(g):
raise ValueError("增益须为有限实数")
if type(c) is not int or c <= 0 or type(ok) is not bool:
raise ValueError("分钟须为正整数,资格须为布尔值")
best = None
for route in product(range(-1, m), repeat=n):
used, value, feasible = [0] * m, 0.0, True
for i, j in enumerate(route):
if j == -1:
continue
if not allowed[i][j]:
feasible = False
break
used[j] += minutes[i][j]
if used[j] > budget[j]:
feasible = False
break
value += gain[i][j]
if not feasible:
continue
key = (-value, sum(used), route)
if best is None or key < best[0]:
best = (key, route, value, used)
_, route, value, used = best
return {
"route": {key: "baseline" if j == -1 else experts[j]
for key, j in zip(ids, route)},
"predicted_gain": value,
"reserved_minutes": dict(zip(experts, used)),
}
args = dict(
ids=["A", "B", "C"], experts=["甲", "乙"],
gain=[[0.90, 0.80], [0.85, 0.10], [0.0, 0.60]],
minutes=[[1, 1], [1, 1], [1, 1]],
allowed=[[True, True], [True, True], [False, True]],
budget=[1, 1],
)
result = assign_experts(**args)
print(result)
# route: A=乙, B=甲, C=baseline
# predicted_gain: 1.65(浮点打印可能有尾差)
# reserved_minutes: 甲=1, 乙=1
assert result["route"] == {"A": "乙", "B": "甲", "C": "baseline"}
assert abs(result["predicted_gain"] - 1.65) < 1e-12
args["budget"] = [1, 2]
expanded = assign_experts(**args)
print(expanded)
assert abs(expanded["predicted_gain"] - 2.25) < 1e-12python禁止的 C—甲格子在代码中放 0.0 仅为保持数值矩阵形状,allowed=False 才是禁止分配的依据。若错误地把它改成 True,就改变了可行集合。实际未知格子应有独立状态,在没有充分证据时不直接开放。
product 生成候选路径,enumerate 给出对应行号,zip 保持键与分配对齐;矩阵形状校验可防止 zip 的截短行为掩盖输入缺行。API 语义可查 Python itertools 官方文档 ↗。所有代码只用标准库,不依赖机器学习包版本。
05 矩阵里的增益从哪里来,缺的格子怎么办?#
分配器消费预测矩阵,模型训练发生在上游。可以把专家身份或专长表示与案例特征一起输入共享模型,输出每个专家相对基线的增益;也可以分别建模,但小样本专家需要防止过拟合。共享参数提高数据利用率,仍需按专家与案例类型验证误差。
训练:按用户 / 服务单元划分,冻结专家协议与结果定义
用可识别且有支持的路径数据估计各专家相对基线的增益
验证:选模型复杂度、分钟预留和组批大小,固定资格规则
推理:生成 G、C、E,读取扣除在途承诺后的预算 b
求联合分配,原子预留每专家预算,记录整批名单
审计:独立队列重放整批规则,比较成熟效用与实际专家工作量text最大的数据困难是选择性反馈(Selective Feedback):一个案例通常只由一位专家处理,其余格子的结果不可见。如果甲总拿疑难案例、乙总拿简单案例,直接比较专家历史成功率会把难度差异解释为能力差异。路径分配还可能依赖未记录的人工判断,普通结果回归就会带偏。
在都具资格且服务可接受的范围,可以预先设计受容量约束的专家随机分配,保存当时可用专家集合及实际分配机制。仅有分类真值的任务可收集同一案例的盲评专家预测;报名等会受动作改变的下游结果则需要路径因果设计,多个专家对同一材料的答案不能替代多个路径结果。
对历史日志做多路径离线估计时,每条被评估路径都需要相应支持。某类案例从未交给乙,就不能因共享模型给出高分而把该格子视为已验证。共享容量的分配概率还取决于批内其他案例和可用名额,应保存完整分配机制;逐行套一个与批次无关的专家概率会丢失这种依赖。
06 工程检查、失败场景与方法区别#
专家预算应先扣除未完成工作和已经承诺的预约,再传给分配器。两个服务进程同时读取“甲剩一单”,分别提交一次,可能各自满足约束却合计超额;求解与提交之间需要原子预留、版本校验和失败后的重新求解。取消释放也应具幂等性,防止重复释放扩大虚假容量。
本例是批分配,允许短暂等待以比较组合。若必须立即响应未来不可知的案例,就进入在线匹配:到达顺序、预留容量和等待成本都要重新建模。不能直接把掌握整批未来的离线最优值当作实时策略可实现的承诺。
| 方法 | 使用的信息 | 对应问题与边界 |
|---|---|---|
| 每案例最高分专家 | 只看当前行 | 容易过早耗尽稀缺专长 |
| 最大边贪心 | 所有分数但逐条锁定 | 快速启发式,三行例子已证明可次优 |
| 单位成本容量匹配 | 整批矩阵与专家名额 | 联合优化固定分数,需要准确资格与容量 |
| 异质分钟整数分配 | 整批矩阵与专家分钟 | 可表达耗时差异,求解规模更难 |
| 多专家转交模型 | 从数据估计专家相对能力 | 解决评分学习,仍需接容量决策层 |
调试先核对行键、专家列顺序、资格版本,再逐专家重算 sum(C[i,j] * Z[i,j])。接着检查每行至多一个专家、被禁格子全零、全负增益时全部回基线,最后比较贪心与小批穷举。若最优值明显高得离谱,优先排查是否把专家事后结果泄漏进了特征。
专家疲劳、共同培训错误、不可观测的接单偏好和耗时漂移,都可能使固定矩阵失真。复杂案例也可能需要两位专家联合处理,此时“每行至多一人”的模型不适用,要显式增加协作动作与双人资源消耗。整套规则的验证仍以全入口成熟效用为主,并分开报告每位专家负载、超时与预注册群体服务情况。
日志自查:为什么除了“最终处理专家”,还要保存“当时可用专家集合”?
最终分配只说明谁接了这单。可用集合才能区分“乙本来有资格但分数较低”和“乙已无容量或不具资格”。这影响离线重放的可行集合、支持判断和分配机制重建;只保存最终专家会把当时根本不存在的替代路径当成真实机会。
思考练习#
- 把 A—乙的增益从 0.80 降到 0.60,其他条件不变。甲乙各一名额时,最佳分配如何变化?计算临界增益。
- A 交甲需 3 分钟、交乙需 1 分钟,而专家预算均为 2 分钟。为何单位名额匹配不再表达原问题?需要更改哪一组约束?
- 乙只处理过容易案例,却被模型预测对疑难案例增益最高。设计一次具有资格保护、容量约束和独立结果审计的小规模数据收集,说明哪些格子仍然不可识别。
相关工作#
- Verma, Barrejón & Nalisnick (2023), Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles ↗:研究多专家转交的代理损失与校准,连接“评分是否可靠”和“交给谁”。
- Mao et al. (2023), Two-Stage Learning to Defer with Multiple Experts ↗:分开训练预测器与转交函数,为本篇区分评分层和分配层提供参照。
- Alves et al. (2024), Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints ↗:将专家错误代价与个体工作容量同时放进约束分配。
- Tailor et al. (2024), Learning to Defer to a Population: A Meta-Learning Approach ↗:考虑专家来自变化人群时的适应问题,说明专家身份与能力并非永久固定。
下一篇预告#
同一套专家分配规则若只按总效用比较,可能让低频人群长期得不到合适专家。下一篇将研究多专家转交的分组审计:同时检查专家资格支持、成熟结果与服务差距,区分能力差异、数据缺口和容量造成的差别。