以下数字为教学示例,不构成对任何真实系统或供应商的承诺。
上一节的归因方法给了"功劳怎么分"的答案,但这一节要说清楚它们的天花板。归因不是免费的,它有三个结构性的局限:观测关联不等于因果贡献、样本量消除不了策略偏差、从不缺席的动作无法识别。这不是实现问题,是数据本身的信息量问题——换更大的模型、更多的日志,都越不过去。
这一节用三步轨迹模型把这三点一一演示。
模型:三步轨迹与真实因果
轨迹有三个动作:
| 动作 | 因果作用 | 出现条件 | 语义 |
|---|---|---|---|
| plan | 无 | 永远 | 计划(只记日志) |
| act | 决定成败 | 永远 | 执行 |
| check | 无 | 只在困难任务 | 复核(只记日志) |
任务成功率:容易任务 0.90、困难任务 0.50,各占一半。执行决定成败:act 的干预效应是 0.7。计划对成败没有作用,复核对成败也没有作用,但复核只在困难任务上出现——而困难任务恰好在失败。这就是埋给所有观测方法的陷阱:日志里复核与失败强烈相关,但它不是失败的原因。
最小实验:真实效应与观测方法同台
下面的实验先打印"真实效应"(do 干预)与五种观测/启发式方法的估计值,再打印样本量从 200 到 200000 的采样表。所有数字由二项采样与精确公式算出,没有随机叙事。
# file: agp_lab/credit_limits.py | write
# tier: 3
# verify: python3 -m unittest tests.test_credit_limits
"""信用分配的局限:延迟奖励、策略相关动作与归因误差。
轨迹有三步:计划(无因果作用)、执行(决定成败)、复核(无因果作
用,且只在困难任务上发生)。日志里复核与失败强烈相关,但它不是
失败的原因;执行永远发生,日志无法提供它的反事实。这个模型展示
两件事:观测关联不等于因果贡献,增加样本只能消除方差,不能消除
由策略造成的偏差。
"""
from __future__ import annotations
import random
ACTIONS = ("plan", "act", "check")
# (难度, 概率, 成功率);复核只在 hard 上执行,但对成功率没有影响。
DIFFICULTY = (("easy", 0.5, 0.90), ("hard", 0.5, 0.50))
DEFAULT_SEED = 2026
def sample_episodes(count: int, seed: int = DEFAULT_SEED) -> list[tuple[bool, bool]]:
"""返回 (是否困难, 是否成功) 的日志;行动策略固定为 plan→act→check。"""
if count <= 0:
raise ValueError("count 必须为正")
rng = random.Random(seed)
episodes: list[tuple[bool, bool]] = []
for _ in range(count):
hard = rng.random() < 0.5
rate = 0.50 if hard else 0.90
episodes.append((hard, rng.random() < rate))
return episodes
def _action_present(action: str, hard: bool) -> bool:
if action == "check":
return hard
return True
def log_association(episodes: list[tuple[bool, bool]]) -> list[float]:
"""日志关联:动作出现与不出现时的成功率之差。
只在日志中出现过两种取值的动作才能估计;从不缺席的动作返回 0,
这不是“没有作用”,而是“无法识别”。
"""
if not episodes:
raise ValueError("日志不能为空")
effects: list[float] = []
for action in ACTIONS:
present = [success for hard, success in episodes if _action_present(action, hard)]
absent = [success for hard, success in episodes if not _action_present(action, hard)]
if not present or not absent:
effects.append(0.0)
continue
effects.append(sum(present) / len(present) - sum(absent) / len(absent))
return effects
def success_probability(forced: dict[str, bool] | None = None) -> float:
"""在难度分布上积分;forced 为空表示按日志策略执行。"""
forced = forced or {}
act = forced.get("act", True)
total = 0.0
for _, weight, rate in DIFFICULTY:
total += weight * (rate if act else 0.0)
return total
def interventional_effects() -> list[float]:
"""do 干预下的真实效应:计划与复核为 0,执行为 0.7。"""
return [
success_probability({action: True}) - success_probability({action: False})
for action in ACTIONS
]
def last_step_credit(total: float = 0.7) -> list[float]:
"""末步启发式:延迟奖励全部记到最后一步(这里是复核)。"""
credits = [0.0] * len(ACTIONS)
credits[-1] = total
return credits
def uniform_credit(total: float = 0.7) -> list[float]:
share = total / len(ACTIONS)
return [share] * len(ACTIONS)
def recency_credit(total: float = 0.7, decay: float = 0.5) -> list[float]:
if not 0.0 < decay <= 1.0:
raise ValueError("decay 必须在 (0, 1] 内")
count = len(ACTIONS)
weights = [decay ** (count - 1 - index) for index in range(count)]
scale = sum(weights)
return [total * weight / scale for weight in weights]
def l1_error(estimate: list[float], truth: list[float]) -> float:
if len(estimate) != len(truth):
raise ValueError("向量长度不一致")
return sum(abs(left - right) for left, right in zip(estimate, truth))
def sampling_table(sizes: tuple[int, ...] = (200, 2000, 20000, 200000)) -> list[tuple[int, list[float], float]]:
"""样本量增大时,日志关联的误差收敛到由策略偏差决定的非零下限。"""
truth = interventional_effects()
rows = []
for size in sizes:
estimate = log_association(sample_episodes(size))
rows.append((size, estimate, l1_error(estimate, truth)))
return rows
def _print_estimators() -> None:
truth = interventional_effects()
variants = (
("truth", truth),
("log_assoc", log_association(sample_episodes(20000))),
("last_step", last_step_credit()),
("uniform", uniform_credit()),
("recency", recency_credit()),
)
print(f"{'method':<12}{'plan':>9}{'act':>9}{'check':>9}{'L1':>9}")
for name, credits in variants:
print(
f"{name:<12}{credits[0]:>9.4f}{credits[1]:>9.4f}"
f"{credits[2]:>9.4f}{l1_error(credits, truth):>9.4f}"
)
if __name__ == "__main__":
_print_estimators()
print()
print(f"{'n':>8}{'check_est':>12}{'L1':>9}")
for size, estimate, error in sampling_table():
print(f"{size:>8}{estimate[2]:>12.4f}{error:>9.4f}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.credit_limits
输出:
method plan act check L1
truth 0.0000 0.7000 0.0000 0.0000
log_assoc 0.0000 0.0000 -0.3984 1.0984
last_step 0.0000 0.0000 0.7000 1.4000
uniform 0.2333 0.2333 0.2333 0.9333
recency 0.1000 0.2000 0.4000 1.0000
n check_est L1
200 -0.3800 1.0800
2000 -0.3802 1.0802
20000 -0.3984 1.0984
200000 -0.4011 1.1011
局限一:观测关联不等于因果贡献
先看"真实效应"与"日志关联"的差距。真实效应用 do 干预算出来:把 act 强制打开与强制关掉的成功率之差。日志关联则是"动作出现时成功率减不出现时成功率"。
| 方法 | plan | act | check | L1 |
|---|---|---|---|---|
| truth(真实效应) | 0.0000 | 0.7000 | 0.0000 | 0.0000 |
| log_assoc(日志关联) | 0.0000 | 0.0000 | -0.3984 | 1.0984 |
| last_step(末步) | 0.0000 | 0.0000 | 0.7000 | 1.4000 |
| uniform(均分) | 0.2333 | 0.2333 | 0.2333 | 0.9333 |
| recency(近因) | 0.1000 | 0.2000 | 0.4000 | 1.0000 |
三个结论从这张表里直接读出来。
log_assoc 把 act 算成 0.0000。 执行永远发生,日志里根本没有"没执行"的样本,“动作出现 vs 不出现"的对比无从谈起,所以算法返回 0——这不是"没有作用”,而是**“无法识别”**。真实效应 0.7 被完全漏掉。这是第一个局限的极端形态:一个永远发生的动作,观测数据对它是失明的。
log_assoc 把 check 算成 -0.3984。 复核确实从不影响成功,但它在困难任务上才出现,而困难任务失败率高——日志关联把"出现在失败场景"读成"导致失败"。负贡献 -0.3984 是完全错误的方向。这是最危险的一类误差:它看起来像个发现(“复核越多的任务越失败”),其实是混淆变量(难度)在作祟。
last_step 也错,且错得更系统。 末步启发式把 0.7 全部记给 check,但 check 的因果作用明明是 0;act 反而得 0。上一节说过末步有"临门一脚"幻觉,这里看得更清楚:启发式不只是精度差,它把功劳分配给了日志里"位置靠后"的动作,而这个动作在因果上可能是最无辜的。
局限二:增加样本消除不了偏差
第一个怀疑自然是"日志不够多,多采样就准了"。这个怀疑对一部分成立——方差会缩小——但对偏差无效。下面的采样表把样本量从 200 一路加到 200000:
n check_est L1
200 -0.3800 1.0800
2000 -0.3802 1.0802
20000 -0.3984 1.0984
200000 -0.4011 1.1011
看 check_est 一列:n=200 时是 -0.3800,n=200000 时是 -0.4011——样本量放大一千倍,估计值几乎没有变。它稳定在 -0.40 附近,而真实效应是 0。再看 L1 误差:1.0800 到 1.1011,非但没有缩小到 0,还微微涨了。
这就是"方差 vs 偏差"的现场演示:样本量消除的是方差(估计的抖动),消不掉的是偏差(策略造成的数据选择性)。复核只在困难任务上出现——这个选择是策略写死的,采样再多也改不了。日志关联的误差下限由策略决定,不由样本量决定。
局限三:测什么比怎么测更重要
三步轨迹模型给出了一个评测归因的统一框架:
| 归因方法 | L1 误差 | 主要错误 |
|---|---|---|
| 均分 | 0.9333 | 给无作用的 plan/check 也记功 |
| 近因 | 1.0000 | 按位置加权,与因果无关 |
| 日志关联 | 1.0984 | act 失明、check 记反向功劳 |
| 末步 | 1.4000 | 全部功劳给因果最无辜的 check |
这张表的排序有个反直觉的结论:最便宜的均分启发式,在这个模型上反而比"看起来更有道理"的日志关联和末步更接近真值。原因正是那两个结构性局限——观测方法在永远发生的动作上失明,在混淆相关的动作上记错方向;而均分至少没有把功劳全押在错误的动作上。
这不是说均分更好,而是说评测必须知道"真值"。如果只比较"谁的轨迹被解释得好",末步在视觉上最"合理"(功劳给了收尾动作);只有对着因果真值算 L1,才能暴露它 1.4 的误差。归因评测的正确姿势是:构造一个因果已知的小模型,让各种方法同台比 L1。
归因评测的判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 有真值 | 因果已知的小模型当基准 | 只比"解释得好不好看" |
| 报 L1 | 与真实效应的总误差 | 只报每个动作的估计值 |
| 区分方差与偏差 | 采样表展示误差下限 | 以为加样本就准确 |
| 暴露失明 | 永远发生的动作标记为不可识别 | 把 0 当"没有作用" |
| 检验混淆 | 无因果动作相关失败能暴露 | 把关联当因果 |
“把 0 当’没有作用’“是评测里最普遍的误读。log_assoc 给 act 返回 0,正确理解是"数据里无法识别”,不是"act 确实没作用”。归因系统如果把这个 0 直接拿去发奖励,等于告诉 Agent"执行没有功劳"——它会停止执行,任务全灭。
架构含义
信用分配的局限对架构有三个直接约束:
- 归因结果要标"可识别性"。 0 的语义要区分"无作用"与"无法识别",不能混为一谈。
- 记录策略与归因解耦。 如果日志里某类动作永远缺席(或永远出现),要意识到归因对它是失明的,别用启发式硬凑。
- 上线前做因果基准测试。 构造因果已知的小模型,跑一轮 L1 对比,再决定生产用哪种归因。
第 3 条是把"评测"落到架构上的关键一步:归因方法的选型应该是测量的结果,不是口味。
与三条工作负载的关系
- W1 检索问答:日志关联把"命中引用的回答成功率高"读成"引用导致成功",混淆的是回答本身的质量;W1 用干预式评测更安全。
- W2 代码修复:act 类动作(真正改代码)永远发生,日志对它是失明的;修复归因要依靠运行结果,不靠动作统计。
- W3 运维处置:check 类审计动作与失败强相关但无因果作用;用日志关联做 W3 归因会系统性惩罚"做复核"。
W3 是这一节的现实缩影:运维处置里大量动作是记录类、复核类的配角,而处置动作永远出现。对 W3 用日志关联做归因,必然得出"复核导致失败"的错误结论,Agent 会被训练成不做复核。W3 的归因只能以可验证的处置结果为准。
小结
- 归因有三个结构性局限:关联不等于因果、样本消不掉偏差、永现动作失明。
- 复核只在困难任务出现,日志里它和失败强相关,但它是混淆,不是原因。
- 执行永远发生,日志没有它的反事实,观测方法对它失明,算出 0 不代表没作用。
- 样本量从 200 加到 200000,误差收敛到非零下限:偏差由策略决定。
- 便宜的均分在本模型上比日志关联更接近真值:评测必须对着因果真值算 L1。
- 归因选型应该是因果基准测试的结果,不是口味。
阅读导航:上一节:11.2 归因方法:反事实、Shapley 与启发式 · 下一节:12.1 SFT:行为克隆与轨迹数据 。
常见错误与边界
- 把 0 当"没有作用"。 永现动作算 0 是"无法识别",拿去发奖励会让 Agent 停止执行。
- 用日志关联做归因。 混淆变量会把"出现在失败场景"读成"导致失败"。
- 以为加样本就准确。 样本只消方差,策略偏差是误差下限,换数据换不掉。
- 末步启发式分配因果。 收尾动作常是因果上最无辜的,末步把功劳全押给它。
- 只比"解释得好不好看"。 末步在视觉上最合理,L1 误差却有 1.4。
- 忽略可识别性标注。 归因结果不带"可识别/失明"标记,下游就会误读 0。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。