观文听傑

返回

上下文与策略候选汇入一次决策,动作沿证据链连接执行与后续反馈上下文与策略候选汇入一次决策,动作沿证据链连接执行与后续反馈

上一篇用重抽样检查学出的规则是否稳定,并预告了一个更贴近线上排障的问题:某个用户为什么收到这次干预?如果我们只有最终的动作和结果,无法确认当时模型看见什么、走了哪条回退路径,也无法知道这条记录能不能用于离线策略评估。本篇聚焦一个主题:如何把一次策略决策及其后续反馈记录成可复核、可连接、可重放的事件账本。

决策级记录(decision-level record)不是把更多日志字段塞进一张大表。它是一份不可含糊的事件契约:每个决策有稳定身份,输入和策略版本可寻回,实际动作及其抽样概率被如实记录,执行与结果作为后续事件追加。日志给出的是“系统当时记录了什么”;它不能单独证明未观测反事实或因果假设成立。

01 一次决策有四个时间点#

推荐系统可能在 10:00:00 为用户生成候选内容,策略选择一项,执行服务随后成功展示;点击要几小时后到达,退订也许一周后才成熟。把这些字段在结果到达时回写成“最终状态”,会抹掉决策时的事实,也让重放依赖后来才知道的信息。

flowchart LR
  R[决策请求<br/>decision_id] --> X[决策时特征快照<br/>as-of context]
  X --> P[冻结的策略与候选集<br/>policy digest]
  P --> A[动作 + 完整选择分布<br/>action, p(a|x,h)]
  A --> E[执行回执事件<br/>展示/拒绝/回退]
  E --> Y[结果事件<br/>事件时间与成熟时间]
  X -. 引用与摘要 .-> L[(受控特征存储)]
  P -. 身份 .-> M[(模型/策略制品库)]
  R -. 同一决策键 .-> J[可审计连接与重放]
  A -.-> J
  E -.-> J
  Y -.-> J
mermaid

四个时间点要分开:决策时间记录系统做出选择时可见的信息;执行时间记录动作真正送达或失败;结果事件时间记录点击、转化或伤害发生的时间;入库时间记录数据平台何时收到它。至少保留 decision_id、event_id、事件类型、事件时间、入库时间和 schema 版本。重试用唯一事件 ID 去重,不能因为消息重复就重复算一次奖励。

02 记录决策的事实,不只记录最终动作#

一个最小决策事件可以按如下字段设计。decision_id 是一次决策的连接键,subject_key 是受控的假名化主体键;一次主体在多个时点可以对应多个决策。

字段示例形状 / 含义为什么要留
decision_idUUID;一次请求唯一串起候选、动作、执行与多个延迟结果
decision_at带时区时间戳重建决策时的信息边界与先后顺序
feature_ref, feature_digest受控快照引用 + SHA-256可取回输入并检测快照变化;摘要本身不能还原特征
feature_schema字段、单位、缺失值协议版本防止相同数值在不同语义下被当作同一输入
policy_digest, policy_config策略制品摘要与阈值/配置版本指明实际执行逻辑,不依赖“当前最新版”
candidate_actions长度 KK 的动作 ID 列表知道选择发生在哪个可行集合内
action_probabilities[K][K],顺序与候选动作一致,和为 1记录日志策略(logging policy)实际抽样分布,供反事实估计
chosen_action一个候选动作 ID明确系统选择了什么
execution_status已送达、拒绝、超时、回退等区分“选中”与“用户真正收到”
fallback_reason可空的枚举与版本识别策略输出被安全门、容量门或异常处理替换的情况
outcome_ref后续结果事件引用允许标签延迟、修订和多种结果定义并存

这里的动作概率必须是实际线上日志策略在当时信息条件下选择该动作的概率,不是模型置信度、softmax 分数、结果模型概率,也不是事后重算值。若有随机探索、实验分流或服务回退,应记录最终生效的动作分布和策略路径。若选择器是确定性的,概率通常是所选动作 1、其他动作 0;这会令从旧日志评估不同动作的策略缺乏支持,不能靠补一个伪随机概率修复。

特征快照需要可控取回,单独存哈希只能判断两个摘要是否相同,不能重建输入。可在加密、权限隔离的特征存储中保留最小必要字段,事件里存不可变引用和内容摘要;特征失效策略到期后应同步删除映射和快照。随机数种子可能暴露用户分流或未来动作,不应默认写入宽权限日志;审计只需记录已生效的分布、选择结果、随机化版本和受限存储引用。

03 为什么动作概率是评估所需的事实#

设一个决策上下文为 xx,动作集合为 A\mathcal A。历史策略以概率 p0(a∣x,h)p_0(a\mid x,h) 选择动作 aa,其中 hh 表示该决策时可见的历史状态;系统只观察被选动作的结果 rr。下式的 AiA_i 必须对应目标估计量所定义的实际处理:若估计分配策略的意向处理效果,用分配动作;若估计真正收到干预的效果,还需可靠的执行/曝光记录,并意识到按执行成功筛选会改变估计目标。目标策略 π(a∣x)\pi(a\mid x) 的双重稳健(Doubly Robust, DR)单行贡献可写成

V^iDR(π)=∑a∈Aπ(a∣xi)q^(xi,a)+π(Ai∣xi)p0(Ai∣xi,hi)[ri−q^(xi,Ai)].\hat V_i^{DR}(\pi)=\sum_{a\in\mathcal A}\pi(a\mid x_i)\hat q(x_i,a) +\frac{\pi(A_i\mid x_i)}{p_0(A_i\mid x_i,h_i)}\left[r_i-\hat q(x_i,A_i)\right].

q^(x,a)\hat q(x,a) 是动作结果模型,形状为每个候选动作一个期望结果;AiA_i 是实际动作;p0(Ai∣xi,hi)p_0(A_i\mid x_i,h_i) 是日志里对这个实际动作的选择概率。第一项按目标策略平均预测结果,第二项仅在目标策略会选中日志动作时,用真实残差校正;除以历史动作概率是在补偿日志只看见已选结果的偏差。该估计仍需要一致性、可交换性、正值性和正确记录等条件,账本本身不会使这些条件自动成立。

三行手算:同一个结果,分母为何不能猜#

当前有两个动作“提醒”和“不提醒”。目标策略确定地选“提醒”,记录中的历史策略以 0.700.70 概率选提醒、以 0.300.30 概率选不提醒。日志实际选提醒,观察到结果 r=0.8r=0.8;结果模型对提醒预测 q^(x,1)=0.5\hat q(x,1)=0.5,对不提醒预测 q^(x,0)=0.2\hat q(x,0)=0.2:

计算项数值解释
目标策略模型项1⋅0.5+0⋅0.2=0.51\cdot0.5+0\cdot0.2=0.5目标策略只取提醒的预测结果
目标 / 日志动作概率比1/0.70≈1.4291/0.70\approx1.429目标选提醒,日志当时选提醒的概率是 0.70
DR 单行贡献0.5+(1/0.70)(0.8−0.5)≈0.9290.5+(1/0.70)(0.8-0.5)\approx0.929用实际残差更新目标策略估计

这只是一个样本的贡献,可能大于观测结果范围,不能将它解释成该用户的“真实反事实收益”。如果把 0.70 写成事后模型预测、配置默认值,或将 0.30 四舍五入后使概率向量不再归一,数值就不再对应实际日志策略。概率列应与候选动作顺序、实际动作和决策 ID 一起存储,并验证总和、边界与所选动作概率大于零。

04 从数据流到最小可运行校验#

请求到达:分配 decision_id,绑定决策时间与幂等键
读取特征:只读取决策时可用版本,保存受控快照引用与摘要
运行策略:记录制品摘要、配置版本、候选动作及实际选择分布
发出动作:追加决策事件;执行服务另追加成功/失败/回退事件
收到反馈:按 decision_id 追加结果事件,保留事件时间、入库时间与成熟版本
评估前:连接事件,校验概率分布、重复键、缺失回执和结果成熟窗口
text

下面使用 Python 标准库验证一个随机策略决策记录。输入是动作候选、选择分布、所选动作、带时区的决策时间以及策略/特征身份;输出是规范化 JSON 的内容摘要。dataclasses.asdict、json.dumps 和 hashlib.sha256 分别把记录转为字段映射、确定字段顺序后序列化、计算摘要。摘要能发现序列化内容变化,不等价于签名、访问控制或防篡改存储。

DecisionEvent 中两个动作的向量形状都是 [K],第 jj 个概率必须对应第 jj 个候选。示例使用冻结 dataclass 避免校验后被当前进程意外改字段;它不提供跨服务持久性。生产系统要用 schema registry / 版本化事件协议校验生产者与消费者,并在追加型存储中保存原始决策事件,执行回执和结果作为不同类型的不可变事件追加。若需证明长期完整性,可将事件摘要链或批次 Merkle 根锚定到有权限控制的审计存储;不能把普通哈希列宣传成防篡改保证。

实现时先校验动作概率向量与 chosen_action 的索引映射,再检查 decision_id 唯一性、执行回执覆盖率和结果连接率。跨服务序列化时应约定时间格式、字段规范、浮点精度和 schema 版本;不同语言的 JSON 浮点编码可能不同,生产摘要协议需要固定规范化方式。接口可以提供 append_decision(event)、append_execution(decision_id, status, event_at)、append_outcome(decision_id, outcome_name, value, event_at, ingested_at) 三个幂等写入操作,而不是一个会持续覆盖的 update_decision()。

05 重放和排障的操作顺序#

  1. **从投诉或告警拿到 decision_id:**确认它唯一对应一次请求,而不是用户或会话 ID。查重试链、父请求和幂等键。
  2. **恢复决策时事实:**按 feature_ref 取回快照并核验摘要;用当时 schema 和决策时间检查特征是否穿越到未来。只有当前特征表不能代替历史快照。
  3. **解析执行身份:**策略摘要应定位到不可变制品,配置摘要应定位到阈值与候选约束;再对照实际发出的动作、回退原因和执行回执。
  4. **连接反馈而不覆盖:**同一决策可有多个结果定义或延迟反馈。按 decision_id + outcome_name + outcome_version 形成分析视图,同时保留原始事件时间、入库时间和成熟状态。
  5. **生成独立评估表:**只有动作选择概率和实际执行路径都可验证的行才进入相应估计;按决策单位聚类或按时间切分,报告支持、缺失和权重尾部。

键盘可展开:

点击或按 Enter 展开:动作输出成功,但执行回执缺失

先查消息投递、幂等键和执行服务的事件保留周期。缺回执应作为“执行状态未知”单独计数;不要把策略选择事件直接标成“已曝光”。可对账执行侧请求 ID,追加迟到的回执事件并保留其真实事件时间。若无法恢复,评估分析要明确排除或做缺失敏感性分析。

点击或按 Enter 展开:离线估计出现极大权重

查 p_0(A|x,h) 是否真的来自决策时生效的随机化配置,是否在服务回退后仍写了旧策略概率,动作索引是否错位,是否把 0.70 写成 70。再检查目标动作是否超出历史动作支持。截断权重会改变估计目标,应预先规定阈值并给敏感性结果;日志不能补出从未观察到的动作。

点击或按 Enter 展开:一个决策连接到多条点击或转化

先定义结果单位:首个点击、窗口内是否点击、订单数或净收益并不是同一个标签。用明确的 outcome_name、归因窗、窗口终点和去重规则形成版本化派生标签;底层原始事件继续保留。只在成熟窗口关闭后把该批次标为完整,避免近期决策因结果尚未到齐而被当成零。

原生 details/summary 可用 Tab 定位、Enter/空格展开,在手机窄屏自然换行,并继承站点深浅主题。流程图和表格已经给出静态说明,不需要依靠颜色或交互才能理解。

06 它与其他系统记录的边界#

记录主要回答决策账本还需要什么
请求追踪(request tracing)请求经过哪些服务、在哪里变慢策略实际分布、候选集合、动作概率和结果连接键
模型/数据血缘(lineage)某制品由哪些代码和数据构成某一条请求确实调用了哪个制品及其输入快照
实验分流表用户被分到哪个实验组本次候选动作、实际选择概率、执行状态与结果事件
业务事实表用户最终发生了什么当时决策依据和日志策略概率,供反事实比较
决策级事件账本一次选择如何产生并连接后续反馈仍不能单独证明因果识别、无干扰或完整结果归因

几种记录可以引用相同的制品 ID 和请求 ID,但用途、保留期、访问权限和采样策略不同。若请求追踪只采样 1% 请求,绝不能把它当成策略评估的完整分母;评估账本应在决策入口按约定完整记录,或明确建模记录缺失过程。对安全事件排障,可以有更短期的敏感快照权限;训练与分析则只拿到经过治理的视图。

07 常见失败与适用边界#

  • **日志落在策略服务调用之前:**记录的是计划调用的模型,不一定是实际选择模型。将策略制品摘要与决策事件在同一请求上下文里绑定,并把回退单独记录。
  • **只存快照哈希:**可以判断快照是否变化,但无法重放。保存受控、可过期访问的快照引用,或接受该条决策不可重放并明确标注。
  • **只存选中动作的概率、没存候选顺序:**数组索引错位会让概率静默对应到别的动作。存稳定动作 ID 到概率的映射并校验候选集合版本。
  • **把概率保留两位小数:**概率质量可能不再等于 1,低概率动作误差会被倒数放大。持久化足够精度的实际概率,并单独展示格式化显示值。
  • **把候选概率当成执行概率:**安全门、库存、资格过滤和服务降级可能改变实际曝光。保留选择事件与执行回执两层,评估“策略意图”或“实际处理”时清楚声明估计目标。
  • **迟到结果直接覆盖旧标签:**无法解释历史报表为何改变。追加结果版本、成熟时间和修订来源,按冻结窗口生成可追溯分析切片。
  • **日志保留无限期:**主体重识别和敏感属性会带来真实风险。最小化字段、假名化连接、访问审计、保留期限与删除映射应一起设计。
  • **稳定摘要被当作完整重放:**制品摘要只能识别版本;如果依赖特征服务、外部配置或随机状态未记录,重跑也可能不同。区分“识别输入”“执行重放”和“输出可复现”三种保证级别。

08 思考练习#

  1. 一次决策的记录概率为 0.20.2,但执行回执说请求被安全门替换为基线动作。估计“策略意图价值”和“实际收到干预的效果”分别需要哪些字段、假设和分析单位?
  2. 目标策略对某候选动作给出概率 0.40.4,历史日志在相同上下文中从不选择它。增加更多日志字段能解决哪一部分问题,哪一部分必须通过新的探索或随机试验解决?
  3. 结果事件在 30 天内可能被撤销或修订。设计 outcome_version、成熟时间与报表快照,使 7 天和 30 天评估都能复算且不互相覆盖。

相关工作#

  1. Li et al., A Contextual-Bandit Approach to Personalized News Article Recommendation ↗:展示线上推荐中记录上下文、动作选择和点击反馈的 contextual bandit 流程。
  2. Dudík, Langford & Li, Doubly Robust Policy Evaluation and Learning ↗:建立只观察已选动作反馈时的策略价值评估方法。
  3. Swaminathan & Joachims, Counterfactual Risk Minimization: Learning from Logged Bandit Feedback ↗:讨论如何用日志反馈进行策略学习,并将倾向概率纳入估计与泛化控制。
  4. Sculley et al., Hidden Technical Debt in Machine Learning Systems ↗:分析 ML 系统边界、反馈回路与维护风险,支持把事件契约视为生产系统接口来设计。
  5. Breck et al., The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction ↗:从测试与监控角度整理生产 ML 系统的就绪条件。

下一篇预告#

决策账本让每一次动作都能被定位与核验,但它也会产生延迟、修订和不完整的反馈。下一篇将讨论如何把这些事件转成可信的离线回放数据集:按决策时点对齐特征、冻结成熟窗口,并检查日志策略与目标策略之间的支持重叠。

用户为何收到这次干预?用决策级事件账本重放每一次策略动作
https://zwjcode.cn/blog/decision-level-policy-audit-ledger
作者 傑
发布于 2026年10月26日
版权协议 CC BY-NC-SA 4.0
评论加载似乎遇到了问题,请尝试刷新页面。