本附录是卷二实验参数的唯一来源。三卷共用 W1/W2/W3 三条工作负载,本卷在其上叠加决策线实验参数。
所有数字为教学设定值,不代表任何真实系统或真实供应商。
一、三条工作负载(与卷一、卷三共用)
| W1 检索问答 | W2 代码修复 | W3 运维处置 | |
|---|---|---|---|
| 时间跨度 | 3–8 步 | 10–40 步 | 2–6 步 |
| 可逆性 | 只读,可重试 | 写分支,可回滚 | 不可逆,需审批与补偿 |
| 延迟预算 | p95 ≤ 8 s | p95 ≤ 5 min | p95 ≤ 60 s |
| 单任务成本 | ≤ $0.02 | ≤ $0.50 | ≤ $0.05 |
| 失败影响 | 低 | 中 | 高 |
卷二重点落在 W2(长链路最能暴露循环、终止、记忆与学习问题),W1/W3 作为对照。
二、POMDP 老虎问题(第 1 章)
| 参数 | 值 |
|---|---|
| 状态 | tiger_left、tiger_right |
| 动作 | listen、open_left、open_right |
| 观测 | hear_left、hear_right |
| 听声准确率 | 0.85(教学设定) |
| 听一次奖励 | −1 |
| 开对门奖励 | +10 |
| 开错门奖励 | −100 |
| 初始信念 | P(tiger_left) = 0.5 |
| 时域 | 0–4 次听声,可提前开门 |
关键结论:听声预算 0 时最优价值 −45(直接开右门),预算 1 时 −7.5(值得听一次),预算 4 时 +2.022。观测有噪声时仍然有价值,但存在最优观测次数。
三、走廊 MDP 与行为克隆(第 12 章)
| 参数 | 值 |
|---|---|
| 状态 | 0–5,目标 5 |
| 动作 | left / right / stay |
| 专家策略 | 未到目标就 right |
| 演示起点 | 2、3、4 |
| 未覆盖起点 | 0 |
| 执行滑移 | 0.2(测试覆盖时) |
| 单回合步数上限 | 30 |
| 评估回合 | 200,seed 11 |
| DPO beta | 0.1 |
关键结论:行为克隆在训练覆盖外的起点会滑移失败;对齐阈值能力 ≥ 0.7、拒答 ≥ 0.9、谄媚 ≤ 0.2。
四、终止条件与预算(第 2 章)
| 参数 | 值 |
|---|---|
| 步数预算 | W1 8 / W2 40 / W3 6 |
| 单步 token | 900 |
| token 单价 | $4.5 / 1M |
| 时间预算 | W2 300 s / W3 60 s |
| 模式 | normal / hard / degrade |
五、记忆与检索(第 8–9 章)
| 参数 | 值 |
|---|---|
| 记忆层 | 工作/情景/语义/程序 |
| 情景记忆容量 | 100 条 |
| TTL 默认 | 30 天 |
| 冲突规则 | 显式覆盖 > 时间新近 |
| 召回 top-k | 5 |
| 重排判据 | 相关度 × 时新性 × 来源可信度 |
六、工具选择(第 10 章)
| 参数 | 值 |
|---|---|
| 工具集 | 读文件、写分支、跑测试、查询服务、重启服务 |
| 选择判据 | 能力满足 + 成本预算 + 风险等级 |
| 参数错误类型 | 类型错 / 范围错 / 引用错 |
| 放弃条件 | 置信度低于 0.6 或风险不可接受 |
七、信用分配(第 11 章)
| 参数 | 值 |
|---|---|
| 轨迹长度 | 10–40 步(W2) |
| 归因方法 | 反事实 / Shapley / 启发式 |
| 反事实次数 | 每步 1 次(教学设定) |
| Shapley 代价 | 轨迹长度 × 重跑次数 |
八、回归门(第 13 章)
| 参数 | 值 |
|---|---|
| 误放率目标 | ≤ 0.05 |
| 误拒率目标 | ≤ 0.10 |
| 基线通过率 | ≥ 0.95 |
| 点估计门样本 | 220 条 |
| Wilson 门样本 | 760 条 |
| 20 条样本点估计门误放率 | 41.5% |
| 20 条样本 Wilson 门误拒率 | 87.8% |
关键结论:严格的规则在没有足够样本时会变成随机拒绝;门的参数必须由效应量和错误预算推导并预注册。
九、口径公式
最优价值 = Bellman 递推(教学版)
死循环判定 = 步数超过预算 或 进展度量连续 N 步为 0
滑移失败率 = 评估回合中未达目标的比例
通过率 = 通过断言数 ÷ 总断言数
回归门误放率 = 基线模型被判定为退化的比例
回归门误拒率 = 等价模型被判定为退化的比例
十、禁用与易错清单
- 不把教学参数写成"实测"或"生产数据"。
- 三卷共用 W1/W2/W3,不得新增第四种负载。
- 不编造论文结论、训练曲线或供应商性能。
- 回归门的显著性不等于实用性,效应量必须一起看。
- 任何"对比"必须说明负载与实验配置。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。