观文听傑

返回

不同案例被连接到两个专长互补且有容量上限的人工工作台的概念插画不同案例被连接到两个专长互补且有容量上限的人工工作台的概念插画

前两篇从复核分钟的价值分配推进到用随机探索日志学习复核增益,暂时把人工视为一条固定服务路径。现在考虑多个专家:甲擅长识别材料矛盾,乙擅长理解补充说明;两人本班都只能再接一个案例。把每个案例单独交给分数最高的专家,可能让“只有甲能做好”的案例失去机会。

本篇只解决多个专家容量有限时,怎样联合决定“哪位专家处理哪个案例”。核心有三个:把增益向量扩展为矩阵、用联合分配保留专长的机会成本、为缺少专家反馈的格子保留支持边界。我们不重新训练专家模型,而是明确预测模型与组合决策层的接口。

01 从一个人工分数,扩展为案例与专家矩阵#

沿用同一入口时间窗、报名结果与效用换算。基线 BB 是未转交时的明确执行路径;专家 jj 对应固定的资料权限、操作规程和超时动作。对第 ii 个案例定义

Gij=E[UiHj−UiB∣Xi=xi].G_{ij}=\mathbb E[U_i^{H_j}-U_i^B\mid X_i=x_i].

HjH_j 表示交给专家 jj 的路径。对任一路径 rr,令 Uir=vYir−dirU_i^r=vY_i^r-d_i^r:YirY_i^r 是包含既定等待与超时协议的路径结果,vv 将结果换成效用点,dird_i^r 是已换算到效用点的直接费用。GijG_{ij} 因而是扣除直接费用后的路径增益;复核分钟另作约束,费用不再重复扣除。预测矩阵写为 G^∈Rn×m\widehat G\in\mathbb R^{n\times m},nn 为本批案例数,mm 为可用专家数。特征 XX 为 [n, p],pp 是入口时可用的处理前特征数;分钟矩阵 CC、资格掩码 EE 也是 [n, m];专家剩余预算 bb 为 [m]。

资格掩码(Eligibility Mask)Eij∈{0,1}E_{ij}\in\{0,1\} 表示这一组合是否允许:执业资格、语言能力、利益冲突和资料权限都可能使格子不可用。未知增益与禁止分配要分开记录;不能把未知格子填成零后告诉求解器“这是证据支持的零价值”。

案例特征 X[n,p] + 专家身份 / 专长 / 协议版本
                    ↓
  增益 G[n,m] + 预留分钟 C[n,m] + 资格 E[n,m]
                    ↓                 + 剩余预算 b[m]
                联合分配 Z[n,m]
                    ↓
    每案例至多一位专家;未分配案例继续走基线
                    ↓
  专家身份、预测值、资格版本、预算预留与执行事件入账
text

不同专家对应的各列预测不能由一个“全局平均正确率”替代。专家的优势可能只发生在某类案例,且随培训、疲劳和工作协议改变。还要明确资料是否来自入口之前;事后才能看到的结果不能进入在线分配特征。

02 联合分配怎样把“占用别人需要的专家”写进约束?#

用 Zij∈{0,1}Z_{ij}\in\{0,1\} 表示是否将案例 ii 分给专家 jj。固定预测值后,目标为

max⁡Z∑i=1n∑j=1mG^ijZij,\max_Z\sum_{i=1}^{n}\sum_{j=1}^{m}\widehat G_{ij}Z_{ij},

并同时满足

∑jZij≤1,∑iCijZij≤bj,Zij≤Eij.\sum_j Z_{ij}\le1,\qquad \sum_i C_{ij}Z_{ij}\le b_j,\qquad Z_{ij}\le E_{ij}.

第一项限制一个案例至多由一位专家处理;第二项约束每位专家的预留分钟;第三项限制合法组合。某行全零就走基线,其相对基线的增益为零。此加法目标在固定负载与复核协议范围内使用;拥堵若改变专家表现,就要更新增益模型或采用系统级实验。目标允许空置容量,避免为了“排满班次”分配负增益案例。必须人工处理的案例属于另外的服务义务,先处理其可行性与资源承诺,再分配本篇的可选案例。

当所有 Cij=1C_{ij}=1、bjb_j 是整数名额时,这是带专家容量的二部图匹配(Capacitated Bipartite Matching),可以转成最小费用流(Minimum-Cost Flow):源点到案例的容量为 1,案例到允许专家的边费用为 −G^ij-\widehat G_{ij},专家到汇点的容量为 bjb_j,另给每个案例一条费用为 0 的基线通道。费用取负使最小费用对应最大增益;基线通道使人可以不占专家名额。

若 CijC_{ij} 随案例与专家变化,普通的单位流容量不能表达“这个案例消耗三分钟、另一个消耗七分钟”。问题进入广义指派(Generalized Assignment)一类整数优化,通常需要更一般的约束求解。先把分钟除以平均时长变成名额,会改变可行集合;使用这种近似时必须报告误差和实际预算偏离。

03 三行手算:最强的专家应该留给谁?#

以下是合成教学增益,每个可分配案例均占一个名额;甲、乙各只有一个剩余名额。表中的“禁止”来自资格掩码,不能参与比较。

案例甲的增益(效用点)乙的增益(效用点)基线增益
A0.900.800
B0.850.100
C禁止0.600

若依次处理 A、B、C,每次找当前能用的最高正增益专家:A 先占甲,B 再占乙,C 走基线;总增益 0.90+0.10=1.000.90+0.10=1.00。调整到达顺序就可能改变名单,说明这是一条在线贪心规则。

即使把所有允许边按增益全局排序,先取最大的 A—甲,再取 C—乙,总增益也只有 0.90+0.60=1.500.90+0.60=1.50。联合分配则把 A 交给乙、B 交给甲,总增益 0.80+0.85=1.650.80+0.85=1.65。

为什么把 A 交给“第二好”的乙反而更好?甲换成乙使 A 损失 0.90−0.80=0.100.90-0.80=0.10,却让 B 获得甲而多出 0.85−0.10=0.750.85-0.10=0.75。比较组合时还要考虑被挤出的 C;A—乙、B—甲的 1.65 仍高于 A—甲、C—乙的 1.50。专家稀缺性体现在替代机会,而不是某一格分数最高。

先预测:乙的容量增加到两个名额,还要把 A 交给乙吗?

要。A—乙、B—甲、C—乙得到 0.80+0.85+0.60=2.250.80+0.85+0.60=2.25;若 A—甲,则 B、C 交乙只得到 0.90+0.10+0.60=1.600.90+0.10+0.60=1.60。容量增加不意味着可以忘掉专长替代关系。

04 可运行 Python:枚举完整分配,输出容量占用#

下面用极小规模穷举作为正确性基准。每个案例可取基线 -1 或专家索引 0...m-1,共 (m+1)n(m+1)^n 个分配。逐个分配计算预算,时间复杂度为 O((n+m)(m+1)n)O((n+m)(m+1)^n);大批次应使用前述流算法或整数求解器。

输入为唯一案例键、唯一专家键、gain[n][m]、minutes[n][m]、allowed[n][m] 和 budget[m]。输出是每个案例的路径、预测总增益和每位专家的预留分钟。示例用 1 分钟的统一预约长度代表一个名额,因此数值与手算一致。真实时长可统一换算为整数秒;若用分钟离散化,向上取整预留并记录舍入规则,避免向下取整造成隐性超额。预测耗时只能约束预测工作量,实际超额仍需单独审计。

禁止的 C—甲格子在代码中放 0.0 仅为保持数值矩阵形状,allowed=False 才是禁止分配的依据。若错误地把它改成 True,就改变了可行集合。实际未知格子应有独立状态,在没有充分证据时不直接开放。

product 生成候选路径,enumerate 给出对应行号,zip 保持键与分配对齐;矩阵形状校验可防止 zip 的截短行为掩盖输入缺行。API 语义可查 Python itertools 官方文档 ↗。所有代码只用标准库,不依赖机器学习包版本。

05 矩阵里的增益从哪里来,缺的格子怎么办?#

分配器消费预测矩阵,模型训练发生在上游。可以把专家身份或专长表示与案例特征一起输入共享模型,输出每个专家相对基线的增益;也可以分别建模,但小样本专家需要防止过拟合。共享参数提高数据利用率,仍需按专家与案例类型验证误差。

训练:按用户 / 服务单元划分,冻结专家协议与结果定义
      用可识别且有支持的路径数据估计各专家相对基线的增益
验证:选模型复杂度、分钟预留和组批大小,固定资格规则
推理:生成 G、C、E,读取扣除在途承诺后的预算 b
      求联合分配,原子预留每专家预算,记录整批名单
审计:独立队列重放整批规则,比较成熟效用与实际专家工作量
text

最大的数据困难是选择性反馈(Selective Feedback):一个案例通常只由一位专家处理,其余格子的结果不可见。如果甲总拿疑难案例、乙总拿简单案例,直接比较专家历史成功率会把难度差异解释为能力差异。路径分配还可能依赖未记录的人工判断,普通结果回归就会带偏。

在都具资格且服务可接受的范围,可以预先设计受容量约束的专家随机分配,保存当时可用专家集合及实际分配机制。仅有分类真值的任务可收集同一案例的盲评专家预测;报名等会受动作改变的下游结果则需要路径因果设计,多个专家对同一材料的答案不能替代多个路径结果。

对历史日志做多路径离线估计时,每条被评估路径都需要相应支持。某类案例从未交给乙,就不能因共享模型给出高分而把该格子视为已验证。共享容量的分配概率还取决于批内其他案例和可用名额,应保存完整分配机制;逐行套一个与批次无关的专家概率会丢失这种依赖。

06 工程检查、失败场景与方法区别#

专家预算应先扣除未完成工作和已经承诺的预约,再传给分配器。两个服务进程同时读取“甲剩一单”,分别提交一次,可能各自满足约束却合计超额;求解与提交之间需要原子预留、版本校验和失败后的重新求解。取消释放也应具幂等性,防止重复释放扩大虚假容量。

本例是批分配,允许短暂等待以比较组合。若必须立即响应未来不可知的案例,就进入在线匹配:到达顺序、预留容量和等待成本都要重新建模。不能直接把掌握整批未来的离线最优值当作实时策略可实现的承诺。

方法使用的信息对应问题与边界
每案例最高分专家只看当前行容易过早耗尽稀缺专长
最大边贪心所有分数但逐条锁定快速启发式,三行例子已证明可次优
单位成本容量匹配整批矩阵与专家名额联合优化固定分数,需要准确资格与容量
异质分钟整数分配整批矩阵与专家分钟可表达耗时差异,求解规模更难
多专家转交模型从数据估计专家相对能力解决评分学习,仍需接容量决策层

调试先核对行键、专家列顺序、资格版本,再逐专家重算 sum(C[i,j] * Z[i,j])。接着检查每行至多一个专家、被禁格子全零、全负增益时全部回基线,最后比较贪心与小批穷举。若最优值明显高得离谱,优先排查是否把专家事后结果泄漏进了特征。

专家疲劳、共同培训错误、不可观测的接单偏好和耗时漂移,都可能使固定矩阵失真。复杂案例也可能需要两位专家联合处理,此时“每行至多一人”的模型不适用,要显式增加协作动作与双人资源消耗。整套规则的验证仍以全入口成熟效用为主,并分开报告每位专家负载、超时与预注册群体服务情况。

日志自查:为什么除了“最终处理专家”,还要保存“当时可用专家集合”?

最终分配只说明谁接了这单。可用集合才能区分“乙本来有资格但分数较低”和“乙已无容量或不具资格”。这影响离线重放的可行集合、支持判断和分配机制重建;只保存最终专家会把当时根本不存在的替代路径当成真实机会。

思考练习#

  1. 把 A—乙的增益从 0.80 降到 0.60,其他条件不变。甲乙各一名额时,最佳分配如何变化?计算临界增益。
  2. A 交甲需 3 分钟、交乙需 1 分钟,而专家预算均为 2 分钟。为何单位名额匹配不再表达原问题?需要更改哪一组约束?
  3. 乙只处理过容易案例,却被模型预测对疑难案例增益最高。设计一次具有资格保护、容量约束和独立结果审计的小规模数据收集,说明哪些格子仍然不可识别。

相关工作#

  1. Verma, Barrejón & Nalisnick (2023), Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles ↗:研究多专家转交的代理损失与校准,连接“评分是否可靠”和“交给谁”。
  2. Mao et al. (2023), Two-Stage Learning to Defer with Multiple Experts ↗:分开训练预测器与转交函数,为本篇区分评分层和分配层提供参照。
  3. Alves et al. (2024), Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints ↗:将专家错误代价与个体工作容量同时放进约束分配。
  4. Tailor et al. (2024), Learning to Defer to a Population: A Meta-Learning Approach ↗:考虑专家来自变化人群时的适应问题,说明专家身份与能力并非永久固定。

下一篇预告#

同一套专家分配规则若只按总效用比较,可能让低频人群长期得不到合适专家。下一篇将研究多专家转交的分组审计:同时检查专家资格支持、成熟结果与服务差距,区分能力差异、数据缺口和容量造成的差别。

同样送人工,为何选错复核员仍会变差?带专家容量的联合分配
https://zwjcode.cn/blog/multi-expert-deferral-capacity-matching
作者 傑
发布于 2026年10月29日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。