两组都转交一半,为何服务仍有差距?多专家分配的分层审计
把专家资格、证据支持、分配与按时完成分开计数,用固定入口分母分解服务差距,并用八行手算和可运行 Python 找到差距发生的环节。
上一篇用专家容量约束联合分配案例,解决了“交给谁”的组合问题。假设新规则上线后,甲组和乙组都有一半案例转交人工,仪表盘于是显示“服务机会相同”。但甲组转交的两单中有一单超时,乙组两单都按时完成;两组可用的专家范围也不同。相同的转交比例,遮住了服务链条里不同的阻塞。
本篇建立多专家系统的分层服务审计(Layered Service Audit):先看资格与证据支持,再看分配与按时完成,最后把成熟结果放回整个入口队列。核心产物是一张能定位差距环节的计数表;下一篇再处理其中缺失结果带来的结论边界。
01 先定义一条可以重放的服务链#
沿用报名辅导场景:基线路径按旧规则发送邀请,人工专家可能核对额外材料,再决定是否邀请。结果仍是入口决策后七天是否报名。审计群体(Audit Group) 是分析前定义的处理前类别,例如两类服务语言;群体信息可以仅供审计使用,是否进入在线分配需要单独确定。
每个入口决策 对专家 保留两个独立标记:
- 资格掩码(Eligibility Mask):该专家在规则上能否处理这个案例,取值为 0 或 1。
- 证据支持标记(Evidence-Support Flag):这个案例类型与专家组合是否通过预先登记的证据门槛,例如存在可比的探索数据、结果定义一致、样本量与误差达到验收要求。
描述服务规则, 描述我们对该组合掌握的证据。禁止组合、从未收集结果的组合,以及有数据但表现较差的组合,必须保留不同原因。一个正的预测增益既不能代替资格,也不能自动证明有支持。证据门槛还应记录分配机制和混杂诊断;“历史上接过几单”本身不保证因果识别。
定义
为专家数, 是条件成立时取 1 的指示函数(Indicator Function)。 表示存在至少一位有资格且证据支持的专家,暂不扣除容量;容量不足造成的未分配应留在后续环节。本文审计的正式策略只在这样的组合中分配,因此 。专门批准的随机探索另设协议、另出报表,不能混入这条嵌套链。
对 个入口,特征 的形状为 [n,p], 为处理前特征数; 是 [n,m] 布尔矩阵。实际专家编号 、群体 、、成熟标记 、标签可用标记 和结果 都是 [n]。未分配专家用独立空值表示, 使用 0/1/None;零是真实未报名,None 是未知。
同一个入口队列;每条 decision_id 始终保留
│
├─ E:有无合格专家?── S:对应组合有无支持?
│ ↓
│ K:可用组合存在
│ ↓ 容量 / 分数 / 分配规则
│ A:已分配专家
│ ↓ 等待 / 执行 / 超时
│ C:按入口期限完成
│
└─ 所有路径一起连接:结果成熟 M → 标签可用 O → Ytext图中服务链和结果链共享入口键。原生文本图适配深浅主题;可编辑图源 service-audit.drawio 随文章保存。结果链包含未分配者及超时回退者,不会随服务漏斗缩小。
02 三个因子的乘积,定位“在哪一层掉下去”#
固定策略版本、入口时间窗和服务期限。等待到本次队列的服务期限全部经过后,按群体计算入口数 、可用数 、分配数 和按时完成数 :它们分别是该组内 的求和。三个条件比例为
是可用组合覆盖, 是在可用人群中的分配率, 是已分配者按时完成率。当三个分母都为正时,入口按时服务率满足恒等式
中间分子分母消去即可得到它;这是同一队列上的计数分解,不能把每一项差异直接解释成某项规则的因果作用。例如复杂案例可能同时更难获得支持、更耗时。因果比较要沿用此前的路径随机化或可识别的离线评估设计。
如果 , 应显示“不可计算”;如果 , 同理。入口 时仍可直接报告 。不要用零替代未定义的条件率,再把乘积当作解释。若服务期限尚未经过,应单列“尚在服务窗”,不能提前记作超时。
容量造成的差距从 往下查:保存当时可用专家与预算快照、求解结果和执行回执。资格与支持造成的差距从 往上查:分开计算“有资格但缺支持”和“没有合格专家”的人数,避免用补数据来掩盖真正缺少服务能力的问题。
03 八行手算:转交率相同,完成率为什么不同?#
下表为合成教学数据。所有人的服务期限和七日结果窗都已经过,管道水位已到齐;缺失 表示成熟后仍未取得标签。两个专家的列顺序固定为 a,b。表中的 来自资格与支持矩阵的交集。
| 案例 | 组别 | 分配专家 | 服务终态 | 七日结果 | |
|---|---|---|---|---|---|
| a1 | 甲 | 1 | a | 按时完成 | 1 |
| a2 | 甲 | 1 | b | 超时回退 | 0 |
| a3 | 甲 | 1 | 无 | 基线 | 0 |
| a4 | 甲 | 0 | 无 | 基线 | 1 |
| b1 | 乙 | 1 | b | 按时完成 | 1 |
| b2 | 乙 | 1 | b | 按时完成 | 缺失 |
| b3 | 乙 | 0 | 无 | 基线 | 0 |
| b4 | 乙 | 0 | 无 | 基线 | 缺失 |
甲组 ,所以 ,乘积为 。乙组 ,所以 ,乘积为 。两组的入口转交率 都是 ,但甲组按时服务率低 25 个百分点,乙组的可用组合覆盖又更低。
结果报表还有另一层:甲组四个成熟标签完整,报名率 。乙组只有两个标签可用,已观测报名率也是 ;它描述已观测子集,全组报名率仍未知。按时完成复核与是否报名是两个变量,复核完成不能自动生成成功结果。
先判断:乙组再分配一单,是否必然缩小服务差距?
乙组剩下的两人都没有通过资格与支持交集。直接追加分配会跨越当前正式策略的可用边界。应先查无资格还是缺证据,再决定增设语言能力、开展批准的探索或调整服务协议。若已经具备可用组合但仅因容量未分配,才进入追加容量与联合分配的评估。
04 可运行 Python:检查嵌套关系,再聚合#
输入是一决策一行、按入口截点冻结的列表;服务状态已在所有期限结束后确定,mature 由成熟窗口与水位规则在上游产生。输出每组的四个计数、条件比例、结果完整率,以及每位专家的分配/完成数。专家标签顺序、矩阵行与案例键须由数据契约绑定。
伪代码先于实现:
校验 decision_id 唯一、专家键顺序固定、每行矩阵形状正确
逐行计算 K = any(E and S)
若分配专家:检查对应 E 和 S;若完成:检查确实已分配
按群体累计 N、K、A、C;按专家累计分配和完成
独立累计成熟数、成熟且观测数、成功数
分母为零保留 None;只有成熟标签完整时输出整组成熟结果均值textfrom collections import Counter
from fractions import Fraction
def ratio(num, den):
return Fraction(num, den) if den else None
def audit_service(rows, experts):
if len(set(experts)) != len(experts) or not experts:
raise ValueError("专家列必须唯一且非空")
if len({r["id"] for r in rows}) != len(rows):
raise ValueError("决策键重复")
groups, by_expert = {}, {e: Counter() for e in experts}
for r in rows:
E, S = r["eligible"], r["supported"]
if len(E) != len(experts) or len(S) != len(experts):
raise ValueError("矩阵列与专家不对齐")
if any(type(x) is not bool for x in E + S):
raise ValueError("资格与支持必须是布尔值")
if type(r["completed"]) is not bool or type(r["mature"]) is not bool:
raise ValueError("完成与成熟标记必须是布尔值")
y = r["y"]
if y is not None and (type(y) is not int or y not in (0, 1)):
raise ValueError("结果须为 0、1 或 None")
usable = any(e and s for e, s in zip(E, S))
assigned, completed = r["expert"] is not None, r["completed"]
if completed and not assigned:
raise ValueError("未分配却记为完成")
if assigned:
if r["expert"] not in by_expert:
raise ValueError("未知专家")
j = experts.index(r["expert"])
if not (E[j] and S[j]):
raise ValueError("正式分配越过资格或支持边界")
by_expert[r["expert"]].update(assigned=1, completed=int(completed))
c = groups.setdefault(r["group"], Counter())
c.update(N=1, K=int(usable), A=int(assigned), C=int(completed))
if r["mature"]:
c["M"] += 1
if y is not None:
c.update(O=1, positives=y)
report = {}
for g, c in groups.items():
report[g] = dict(c)
report[g].update(
usable=ratio(c["K"], c["N"]),
allocation=ratio(c["A"], c["K"]),
completion=ratio(c["C"], c["A"]),
timely=ratio(c["C"], c["N"]),
label_completeness=ratio(c["O"], c["M"]),
observed_outcome=ratio(c["positives"], c["O"]),
mature_outcome=(ratio(c["positives"], c["M"])
if c["O"] == c["M"] else None),
)
return report, by_expert
def row(key, group, supported, expert, completed, y):
return dict(id=key, group=group, eligible=[True, True],
supported=supported, expert=expert,
completed=completed, mature=True, y=y)
rows = [
row("a1", "甲", [True, False], "a", True, 1),
row("a2", "甲", [False, True], "b", False, 0),
row("a3", "甲", [True, False], None, False, 0),
row("a4", "甲", [False, False], None, False, 1),
row("b1", "乙", [False, True], "b", True, 1),
row("b2", "乙", [False, True], "b", True, None),
row("b3", "乙", [False, False], None, False, 0),
row("b4", "乙", [False, False], None, False, None),
]
report, workload = audit_service(rows, ["a", "b"])
for g, item in report.items():
print(g, item["usable"], item["allocation"], item["completion"],
item["timely"], item["label_completeness"], item["mature_outcome"])
assert item["usable"] * item["allocation"] * item["completion"] == item["timely"]
print(workload)
# 甲 3/4 2/3 1/2 1/4 1 1/2
# 乙 1/2 1 1 1/2 1/2 None
assert sum(v["assigned"] for v in workload.values()) == 4
assert sum(v["completed"] for v in workload.values()) == 3pythonCounter.update 在已有计数上累加字段,避免逐列遗漏;Fraction 从整数构造精确分数,使乘积恒等式可直接检验。接口可查 Counter 官方文档 ↗与 Fraction 官方文档 ↗。程序只用 Python 标准库,不调用训练包;它消费冻结策略的推理日志,不拟合新的分配模型。生产输出 JSON 时可把分数转成数值,同时保留分子、分母和 null。
示例用列表查找专家索引,时间复杂度为 ,矩阵本身也需逐行检查;生产可预建专家到列号的字典。流式聚合只需保存组别和专家计数,但唯一键检查应在上游去重层完成;大规模保留全部 ID 会占内存。
05 从差距报表到可行动的诊断#
| 报表现象 | 先查哪项证据 | 下一步 |
|---|---|---|
| 低 | 资格原因与支持原因分别计数 | 补能力或补数据,区分两者 |
| 相近而 低 | 当时容量、增益分数、整批名单 | 重放约束,检查稀缺专家被谁占用 |
| 相近而 低 | 等待时长、超时协议、实际耗时 | 调整预留与队列,保留失败单 |
| 结果均值好而标签完整率低 | 缺失集中在哪些专家与终态 | 暂停点值比较,计算下一篇的界限 |
再按“群体 × 专家”列出分配人数、服务期限内完成数、成熟数与观测数。某一格没有案例应显示空格及人数零;不能据此写成该专家对该群体“零成功”。组间专家构成不同也会改变总体均值。可在共同支持的专家层内比较描述结果,但对实际分配专家条件化涉及策略之后的选择,仍不能由此识别专家转交的因果增益。
这与给策略加覆盖约束的用途不同:约束决定允许分配什么,审计检查规则最终提供了什么服务;入口服务比例、结果差距、人工正确率也各有分母。是否要求它们相等,要由服务目标和具体影响来决定,不能仅凭某个比例漂亮就宣布系统公平。
持续审计应固定主切片、最小可报告人数与查看频率;发现很小的异常格子后,用独立后续队列复核,避免从大量切片中挑最极端的噪声。本文的分解是有限队列的精确描述;推广到未来人群还需不确定性评估。同一用户或服务单元的多条记录存在相关性时,应按独立单元重采样,而非把每条事件当成独立样本。
失败还可能来自审计本身:语言类别在服务后补录、支持标记被事后改写、群体缺失者被删除,都会使分母失真。将群体未知保留为单独状态;资格版本、支持验收版本、策略版本与服务时钟随入口一起冻结。
调试练习:把 a3 的 completed 改成 True,会发生什么?
程序应抛出“未分配却记为完成”。这常见于把基线执行成功误接成人工完成事件,或用 user_id 连接导致不同决策的事件串行。先修正事件键和状态语义,再讨论服务差距。
思考练习#
- 如果甲组 a2 改为按时完成,哪个因子改变?重新计算 ,说明为什么 不变。
- 增加一位会乙组服务语言的新专家,但历史上从未处理乙组案例。应怎样更新 、 和正式可用范围?设计具有独立审计的探索计划。
- 两组 已相同,但一组排队时间中位数为一天、另一组为六天。你会增加什么预先定义的指标?为什么不能只靠当前乘积分解判断服务充分?
相关工作#
- Madras, Pitassi & Zemel (2018), Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer ↗:将自动模型与外部决策者放在同一学习系统中讨论准确性与偏差。
- Keswani, Lease & Kenthapadi (2021), Towards Unbiased and Accurate Deferral to Multiple Experts ↗:研究能力与偏差各异的多专家协作,连接专家构成与系统层面的群体表现。
- Verma, Barrejón & Nalisnick (2023), Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles ↗:研究多专家评分的统计性质;可靠分配仍需接上支持与服务审计。
- Mitchell et al. (2019), Model Cards for Model Reporting ↗:用结构化记录报告适用范围、评估条件和分组表现,为持续审计提供记录范式。
下一篇预告#
乙组的两个缺失标签可以都成功,也可以都失败。下一篇将把这个未知范围写成可计算的结果上下界,回答“即使不猜缺失标签,两组差距的方向是否已经确定”,并据此安排补标签的优先级。