观文听傑

返回

两组案例经过资格、专家分配与完成托盘三层服务环节的概念插画两组案例经过资格、专家分配与完成托盘三层服务环节的概念插画

上一篇用专家容量约束联合分配案例,解决了“交给谁”的组合问题。假设新规则上线后,甲组和乙组都有一半案例转交人工,仪表盘于是显示“服务机会相同”。但甲组转交的两单中有一单超时,乙组两单都按时完成;两组可用的专家范围也不同。相同的转交比例,遮住了服务链条里不同的阻塞。

本篇建立多专家系统的分层服务审计(Layered Service Audit):先看资格与证据支持,再看分配与按时完成,最后把成熟结果放回整个入口队列。核心产物是一张能定位差距环节的计数表;下一篇再处理其中缺失结果带来的结论边界。

01 先定义一条可以重放的服务链#

沿用报名辅导场景:基线路径按旧规则发送邀请,人工专家可能核对额外材料,再决定是否邀请。结果仍是入口决策后七天是否报名。审计群体(Audit Group)gg 是分析前定义的处理前类别,例如两类服务语言;群体信息可以仅供审计使用,是否进入在线分配需要单独确定。

每个入口决策 ii 对专家 jj 保留两个独立标记:

  • 资格掩码(Eligibility Mask)EijE_{ij}:该专家在规则上能否处理这个案例,取值为 0 或 1。
  • 证据支持标记(Evidence-Support Flag)SijS_{ij}:这个案例类型与专家组合是否通过预先登记的证据门槛,例如存在可比的探索数据、结果定义一致、样本量与误差达到验收要求。

EE 描述服务规则,SS 描述我们对该组合掌握的证据。禁止组合、从未收集结果的组合,以及有数据但表现较差的组合,必须保留不同原因。一个正的预测增益既不能代替资格,也不能自动证明有支持。证据门槛还应记录分配机制和混杂诊断;“历史上接过几单”本身不保证因果识别。

定义

Ki=1(∑j=1mEijSij>0),Ai=1(本次分配了专家),Ci=1(该专家在入口期限内完成).K_i=\mathbf 1\left(\sum_{j=1}^{m}E_{ij}S_{ij}>0\right),\quad A_i=\mathbf 1(\text{本次分配了专家}),\quad C_i=\mathbf 1(\text{该专家在入口期限内完成}).

mm 为专家数,1\mathbf 1 是条件成立时取 1 的指示函数(Indicator Function)。KiK_i 表示存在至少一位有资格且证据支持的专家,暂不扣除容量;容量不足造成的未分配应留在后续环节。本文审计的正式策略只在这样的组合中分配,因此 Ci≤Ai≤KiC_i\le A_i\le K_i。专门批准的随机探索另设协议、另出报表,不能混入这条嵌套链。

对 nn 个入口,特征 XX 的形状为 [n,p],pp 为处理前特征数;E,SE,S 是 [n,m] 布尔矩阵。实际专家编号 RR、群体 gg、K,A,CK,A,C、成熟标记 MM、标签可用标记 OO 和结果 YY 都是 [n]。未分配专家用独立空值表示,YY 使用 0/1/None;零是真实未报名,None 是未知。

同一个入口队列;每条 decision_id 始终保留
  │
  ├─ E:有无合格专家?── S:对应组合有无支持?
  │                         ↓
  │                    K:可用组合存在
  │                         ↓  容量 / 分数 / 分配规则
  │                    A:已分配专家
  │                         ↓  等待 / 执行 / 超时
  │                    C:按入口期限完成
  │
  └─ 所有路径一起连接:结果成熟 M → 标签可用 O → Y
text

图中服务链和结果链共享入口键。原生文本图适配深浅主题;可编辑图源 service-audit.drawio 随文章保存。结果链包含未分配者及超时回退者,不会随服务漏斗缩小。

02 三个因子的乘积,定位“在哪一层掉下去”#

固定策略版本、入口时间窗和服务期限。等待到本次队列的服务期限全部经过后,按群体计算入口数 NgN_g、可用数 KgK_g、分配数 AgA_g 和按时完成数 CgC_g:它们分别是该组内 1,Ki,Ai,Ci1,K_i,A_i,C_i 的求和。三个条件比例为

eg=Kg/Ng,ag=Ag/Kg,cg=Cg/Ag.e_g=K_g/N_g,\qquad a_g=A_g/K_g,\qquad c_g=C_g/A_g.

ege_g 是可用组合覆盖,aga_g 是在可用人群中的分配率,cgc_g 是已分配者按时完成率。当三个分母都为正时,入口按时服务率满足恒等式

qg=Cg/Ng=eg ag cg.q_g=C_g/N_g=e_g\,a_g\,c_g.

中间分子分母消去即可得到它;这是同一队列上的计数分解,不能把每一项差异直接解释成某项规则的因果作用。例如复杂案例可能同时更难获得支持、更耗时。因果比较要沿用此前的路径随机化或可识别的离线评估设计。

如果 Kg=0K_g=0,aga_g 应显示“不可计算”;如果 Ag=0A_g=0,cgc_g 同理。入口 Ng>0N_g>0 时仍可直接报告 qg=0q_g=0。不要用零替代未定义的条件率,再把乘积当作解释。若服务期限尚未经过,应单列“尚在服务窗”,不能提前记作超时。

容量造成的差距从 aga_g 往下查:保存当时可用专家与预算快照、求解结果和执行回执。资格与支持造成的差距从 ege_g 往上查:分开计算“有资格但缺支持”和“没有合格专家”的人数,避免用补数据来掩盖真正缺少服务能力的问题。

03 八行手算:转交率相同,完成率为什么不同?#

下表为合成教学数据。所有人的服务期限和七日结果窗都已经过,管道水位已到齐;缺失 表示成熟后仍未取得标签。两个专家的列顺序固定为 a,b。表中的 KK 来自资格与支持矩阵的交集。

案例组别KK分配专家服务终态七日结果
a1甲1a按时完成1
a2甲1b超时回退0
a3甲1无基线0
a4甲0无基线1
b1乙1b按时完成1
b2乙1b按时完成缺失
b3乙0无基线0
b4乙0无基线缺失

甲组 N=4,K=3,A=2,C=1N=4,K=3,A=2,C=1,所以 e=3/4,a=2/3,c=1/2e=3/4,a=2/3,c=1/2,乘积为 q=1/4q=1/4。乙组 N=4,K=2,A=2,C=2N=4,K=2,A=2,C=2,所以 e=1/2,a=1,c=1e=1/2,a=1,c=1,乘积为 q=1/2q=1/2。两组的入口转交率 A/NA/N 都是 1/21/2,但甲组按时服务率低 25 个百分点,乙组的可用组合覆盖又更低。

结果报表还有另一层:甲组四个成熟标签完整,报名率 2/4=0.52/4=0.5。乙组只有两个标签可用,已观测报名率也是 1/21/2;它描述已观测子集,全组报名率仍未知。按时完成复核与是否报名是两个变量,复核完成不能自动生成成功结果。

先判断:乙组再分配一单,是否必然缩小服务差距?

乙组剩下的两人都没有通过资格与支持交集。直接追加分配会跨越当前正式策略的可用边界。应先查无资格还是缺证据,再决定增设语言能力、开展批准的探索或调整服务协议。若已经具备可用组合但仅因容量未分配,才进入追加容量与联合分配的评估。

04 可运行 Python:检查嵌套关系,再聚合#

输入是一决策一行、按入口截点冻结的列表;服务状态已在所有期限结束后确定,mature 由成熟窗口与水位规则在上游产生。输出每组的四个计数、条件比例、结果完整率,以及每位专家的分配/完成数。专家标签顺序、矩阵行与案例键须由数据契约绑定。

伪代码先于实现:

校验 decision_id 唯一、专家键顺序固定、每行矩阵形状正确
逐行计算 K = any(E and S)
若分配专家:检查对应 E 和 S;若完成:检查确实已分配
按群体累计 N、K、A、C;按专家累计分配和完成
独立累计成熟数、成熟且观测数、成功数
分母为零保留 None;只有成熟标签完整时输出整组成熟结果均值
text

Counter.update 在已有计数上累加字段,避免逐列遗漏;Fraction 从整数构造精确分数,使乘积恒等式可直接检验。接口可查 Counter 官方文档 ↗与 Fraction 官方文档 ↗。程序只用 Python 标准库,不调用训练包;它消费冻结策略的推理日志,不拟合新的分配模型。生产输出 JSON 时可把分数转成数值,同时保留分子、分母和 null。

示例用列表查找专家索引,时间复杂度为 O(nm)O(nm),矩阵本身也需逐行检查;生产可预建专家到列号的字典。流式聚合只需保存组别和专家计数,但唯一键检查应在上游去重层完成;大规模保留全部 ID 会占内存。

05 从差距报表到可行动的诊断#

报表现象先查哪项证据下一步
ege_g 低资格原因与支持原因分别计数补能力或补数据,区分两者
ege_g 相近而 aga_g 低当时容量、增益分数、整批名单重放约束,检查稀缺专家被谁占用
aga_g 相近而 cgc_g 低等待时长、超时协议、实际耗时调整预留与队列,保留失败单
结果均值好而标签完整率低缺失集中在哪些专家与终态暂停点值比较,计算下一篇的界限

再按“群体 × 专家”列出分配人数、服务期限内完成数、成熟数与观测数。某一格没有案例应显示空格及人数零;不能据此写成该专家对该群体“零成功”。组间专家构成不同也会改变总体均值。可在共同支持的专家层内比较描述结果,但对实际分配专家条件化涉及策略之后的选择,仍不能由此识别专家转交的因果增益。

这与给策略加覆盖约束的用途不同:约束决定允许分配什么,审计检查规则最终提供了什么服务;入口服务比例、结果差距、人工正确率也各有分母。是否要求它们相等,要由服务目标和具体影响来决定,不能仅凭某个比例漂亮就宣布系统公平。

持续审计应固定主切片、最小可报告人数与查看频率;发现很小的异常格子后,用独立后续队列复核,避免从大量切片中挑最极端的噪声。本文的分解是有限队列的精确描述;推广到未来人群还需不确定性评估。同一用户或服务单元的多条记录存在相关性时,应按独立单元重采样,而非把每条事件当成独立样本。

失败还可能来自审计本身:语言类别在服务后补录、支持标记被事后改写、群体缺失者被删除,都会使分母失真。将群体未知保留为单独状态;资格版本、支持验收版本、策略版本与服务时钟随入口一起冻结。

调试练习:把 a3 的 completed 改成 True,会发生什么?

程序应抛出“未分配却记为完成”。这常见于把基线执行成功误接成人工完成事件,或用 user_id 连接导致不同决策的事件串行。先修正事件键和状态语义,再讨论服务差距。

思考练习#

  1. 如果甲组 a2 改为按时完成,哪个因子改变?重新计算 q甲q_{\text{甲}},说明为什么 e甲e_{\text{甲}} 不变。
  2. 增加一位会乙组服务语言的新专家,但历史上从未处理乙组案例。应怎样更新 EE、SS 和正式可用范围?设计具有独立审计的探索计划。
  3. 两组 qgq_g 已相同,但一组排队时间中位数为一天、另一组为六天。你会增加什么预先定义的指标?为什么不能只靠当前乘积分解判断服务充分?

相关工作#

  1. Madras, Pitassi & Zemel (2018), Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer ↗:将自动模型与外部决策者放在同一学习系统中讨论准确性与偏差。
  2. Keswani, Lease & Kenthapadi (2021), Towards Unbiased and Accurate Deferral to Multiple Experts ↗:研究能力与偏差各异的多专家协作,连接专家构成与系统层面的群体表现。
  3. Verma, Barrejón & Nalisnick (2023), Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles ↗:研究多专家评分的统计性质;可靠分配仍需接上支持与服务审计。
  4. Mitchell et al. (2019), Model Cards for Model Reporting ↗:用结构化记录报告适用范围、评估条件和分组表现,为持续审计提供记录范式。

下一篇预告#

乙组的两个缺失标签可以都成功,也可以都失败。下一篇将把这个未知范围写成可计算的结果上下界,回答“即使不猜缺失标签,两组差距的方向是否已经确定”,并据此安排补标签的优先级。

两组都转交一半,为何服务仍有差距?多专家分配的分层审计
https://zwjcode.cn/blog/multi-expert-group-service-audit
作者 傑
发布于 2026年10月30日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。