以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
在很多团队里,提示词是最后才被当成「发布物」的东西。代码要走 CI、要灰度、要回滚;提示词改一句话,直接在生产环境保存,第二天看效果。这个做法的隐含假设是:提示词只是文案,改错了影响不大。
但提示词决定 Agent 怎么理解任务、怎么调用工具、怎么组织输出。它改的是行为,不是措辞。行为一变,采纳率、错误率、返工率都会跟着变;在草稿档与执行档,它还会改变责任边界。提示词不是文案,是配置;配置就该有版本、有灰度、有回滚。
提示词不是文案,是配置
把提示词当配置,意味着四件事:
- 可版本化:每一次变更都有编号、有 diff、有作者、有发布记录。
- 可灰度:先在一小部分任务上跑,拿到证据再扩大。
- 可观察:灰度期要看的是任务指标,不是「感觉变好了」。
- 可回滚:出问题时能切回上一版,而不是现场改回去。
四件事里最容易缺的是回滚。很多团队有版本号,但没有「上一版还能不能跑」的验证;真出事时,回滚目标已经跟着其它变更一起失效,只能硬着头皮修。
发布流程的五个状态
一个可执行的发布流程至少要有五个状态。每个状态都有进入条件与退出条件,不能靠口头约定。
| 状态 | 进入条件 | 退出条件 |
|---|---|---|
| 草稿 | 变更说明、diff、负责人齐全 | 通过离线评测与人工抽检 |
| 灰度 | 回滚目标可用、观察指标已定义 | 灰度期指标达到门槛 |
| 观察 | 灰度任务已跑满约定周数 | 连续达标,无未解释异常 |
| 扩大 | 观察期通过 | 覆盖到下一阶段,指标仍达标 |
| 回滚 | 任一门槛被击穿 | 回到上一版并复盘 |
五个状态里,「回滚」不是异常分支,而是正式状态。它要有人负责、有验证、有复盘;否则回滚只是一次慌忙的现场操作。
变更风险分级
不是所有变更都需要同样的灰度。风险由三件事决定:影响面、可逆性、是否动审计。
| 变更类型 | 影响面 | 可逆性 | 默认风险 |
|---|---|---|---|
| 提示词与模板 | 取决于灰度范围 | 可切回上一版 | 中 |
| 模型或供应商 | 全量任务 | 切回旧模型有成本 | 高 |
| 工具与权限 | 取决于工具被多少任务调用 | 可撤权限 | 中 |
| 审计与回滚规则 | 全量责任链 | 改回规则不等于改回历史 | 高 |
提示词变更默认是「中」,不是「低」,因为它改变行为;如果提示词同时改了审计口径,就直接升为「高」。模型切换默认「高」,因为它会同时改变所有任务的输出分布,而且旧模型的可用性不由你控制。
风险分级的目的不是多设审批,而是决定灰度范围与观察周数。低风险可以小流量快跑,高风险必须小流量慢跑,且回滚目标要提前验证。
B Quill 的模板更新怎么发
B Quill 月报告量 606 份,模板更新会影响每一份初稿的结构与措辞。它的发布可以这样排。
第一步,定灰度范围。 先给 2 个客户组,约 12% 的报告,折算约 73 份/月。这个范围来自 B 的试点设计,不是拍脑袋;它足够暴露模板问题,又不至于让全部客户一起承担。
第二步,定观察周数。 试点期是 6 周。模板问题往往不是第一份报告就暴露,而是跨客户、跨数据包重复出现;6 周覆盖至少一个完整月度周期,能看见「同一客户第二份报告」的连续性。
第三步,定门槛。 试点期看两个指标:返工率 ≤ 15.0%,事实错误 ≤ 7.0%。这两个门槛来自 B 的试点退出条件;如果灰度期就击穿,直接回滚,不进入扩大。
第四步,定扩大条件。 试点通过后扩到 6 个客户组(约 45%),观察 8 周,门槛收紧到返工率 ≤ 12.0%、事实错误 ≤ 5.0%。全量前还要连续 8 周达标。
第五步,定回滚目标。 回滚到上一版模板 quill-template-2026.10,并保留灰度期的报告与审改记录,供复盘使用。
这五步里,最容易被忽略的是「观察什么」。B 的审改时长是 1.6 小时,但它是三档加权出来的:63% 一次采纳 1.25 小时、28% 小改 1.95 小时、9% 返工 3.0 小时,加权结果 1.6035 小时。模板更新如果只让「一次采纳」变多、却让「返工」变贵,平均审改时长可能不降反升。所以灰度期不能只看采纳率,要同时看返工率与事实错误率。
回滚不是撤销发布,是切回上一版
回滚经常被误解成「把这次发布撤销」。但发布一旦发生,灰度期产生的报告、客户看到的初稿、顾问做过的审改,都已经存在。回滚能做的,是让后续任务回到上一版行为,不是让已经发生的事消失。
所以回滚要提前回答三个问题:
- 上一版还能不能跑?依赖的模型、工具、数据格式是否仍然兼容?
- 已经产生的输出怎么处理?是保留、重跑,还是人工复核?
- 回滚后谁负责复盘?是发布人、模板 owner,还是审计负责人?
这三个问题答不上来,回滚就只是一次更快的再次发布,问题会在下一版重演。
把发布门禁写成函数
下面的模型把变更风险、灰度门禁、B 的模板更新与审改时长写进同一个文件。它不替代发布评审,只把「能不能发」变成一组可检查的条件。
// file: src/scale/10-2-release-cadence.ts
// tier: L2
// verify: node --test test/scale/10-2-release-cadence.test.ts
// 提示词也是可发布的配置:有版本、有灰度、有回滚。
// 发布节奏不是「多久发一次」,而是「每次变更要拿什么证据才能扩大」。
import { QUILL, type Profile } from "../cases.ts";
import { divide } from "../core/rate.ts";
import { fail, ok, type Result } from "../core/result.ts";
export type ChangeKind = "prompt" | "model" | "tool" | "policy";
export type Risk = "low" | "medium" | "high";
export const KIND_LABEL: Record<ChangeKind, string> = {
prompt: "提示词与模板",
model: "模型或供应商",
tool: "工具与权限",
policy: "审计与回滚规则",
};
export type Change = {
readonly kind: ChangeKind;
// 受影响任务占比,单位基点。
readonly blastBps: number;
readonly reversible: boolean;
readonly touchesAudit: boolean;
};
// 风险由三件事决定:影响面、可逆性、是否动审计。
// 模型切换与审计规则变更默认高风险,因为它们改的是责任边界,不是文案。
export function riskOf(change: Change): Risk {
if (!change.reversible || change.touchesAudit) return "high";
if (change.kind === "model") return "high";
if (change.kind === "prompt" && change.blastBps >= 1_200) return "medium";
if (change.kind === "tool" && change.blastBps >= 4_500) return "medium";
return "low";
}
export type Release = {
readonly version: string;
readonly kind: ChangeKind;
readonly canaryBps: number;
readonly observationWeeks: number;
readonly rollbackTo: string;
readonly change: Change;
};
export type Gate = {
readonly canaryMaxBps: number;
readonly observationWeeks: number;
readonly reworkMaxBps: number;
readonly errorMaxBps: number;
};
// 发布门槛沿用各案例的试点与扩大条件,不在发布流程里另设一套。
export const RELEASE_GATES: Record<"A" | "B" | "C", Gate> = {
A: {
canaryMaxBps: 1_000,
observationWeeks: 3,
reworkMaxBps: 0,
errorMaxBps: 400,
},
B: {
canaryMaxBps: 1_200,
observationWeeks: 6,
reworkMaxBps: 1_500,
errorMaxBps: 700,
},
C: {
canaryMaxBps: 500,
observationWeeks: 4,
reworkMaxBps: 0,
errorMaxBps: 200,
},
};
export function checkRelease(
key: "A" | "B" | "C",
release: Release,
): Result<Release> {
if (release.rollbackTo.trim().length === 0) {
return fail("release has no rollback target");
}
if (release.version.trim().length === 0) {
return fail("release has no version");
}
const gate = RELEASE_GATES[key];
if (release.canaryBps > gate.canaryMaxBps) {
return fail("canary is wider than the pilot gate");
}
if (release.observationWeeks < gate.observationWeeks) {
return fail("observation window is shorter than the pilot gate");
}
if (riskOf(release.change) === "high" && release.change.reversible === false) {
return fail("high-risk irreversible change needs an owner sign-off");
}
return ok(release);
}
// B Quill 的模板更新:先给 2 个客户组(约 12%)看 6 周,
// 过了试点门槛再扩到 6 个客户组(约 45%),期间任何一版都可回退。
export const QUILL_TEMPLATE_RELEASE: Release = {
version: "quill-template-2026.11",
kind: "prompt",
canaryBps: 1_200,
observationWeeks: 6,
rollbackTo: "quill-template-2026.10",
change: {
kind: "prompt",
blastBps: 1_200,
reversible: true,
touchesAudit: false,
},
};
export const QUILL_PROFILE: Profile = QUILL;
// 灰度期覆盖的月报告量:606 × 12% ≈ 73 份。
export function canaryReports(monthlyTasks: number, canaryBps: number): number {
return Math.round((monthlyTasks * canaryBps) / 10_000);
}
// B 的审改时长必须能被 63/28/9 三档加权复算:
// 0.63×1.25 + 0.28×1.95 + 0.09×3.0 = 1.6035 小时。
export function weightedReviewHours(): number {
return 0.63 * 1.25 + 0.28 * 1.95 + 0.09 * 3.0;
}
// 提示词变更的风险等级:影响面越大、越接近审计,越不能「直接上线」。
export function promptRisk(blastBps: number, touchesAudit: boolean): Risk {
return riskOf({
kind: "prompt",
blastBps,
reversible: true,
touchesAudit,
});
}
export function bpsOf(part: number, whole: number): number {
return divide(part, whole);
}
代码里的 riskOf 先看可逆性与审计,再看变更类型与影响面:不可逆或动审计直接判高,模型切换判高,提示词在 12% 影响面上判中。checkRelease 检查四件事:版本、回滚目标、灰度不宽于试点、观察不短于试点。任何一项不满足,发布就不该进入扩大。
weightedReviewHours 把 B 的三档审改时长重新算了一遍,结果是 1.6035 小时。这个函数存在的意义不是算一个已知数,而是提醒评审:只要改动其中一档的比例或时长,平均值就会变;不要拿一个静态的「1.6 小时」去评估模板更新的收益。
canaryReports 把 606 份/月与 12% 灰度折算成约 73 份。这个数字让「灰度」从一句口号变成一个可核对的量:你让多少客户先承担了新模板的风险。
小结
- 提示词不是文案,是配置;它改变行为与责任,必须有版本、灰度、观察与回滚。
- 发布流程至少五个状态:草稿、灰度、观察、扩大、回滚;回滚是正式状态,不是异常分支。
- 变更风险看三件事:影响面、可逆性、是否动审计;提示词默认中风险,动审计或不可逆直接高风险。
- B Quill 的模板更新先给 2 个客户组(约 12%、约 73 份/月),观察 6 周,试点门槛是返工率 ≤ 15.0%、事实错误 ≤ 7.0%。
- 扩大期覆盖 6 个客户组(约 45%),观察 8 周,门槛收紧到 ≤ 12.0% 与 ≤ 5.0%;全量前连续 8 周达标。
- B 的审改时长 1.6035 小时由 63% × 1.25 + 28% × 1.95 + 9% × 3.0 加权得出;只看采纳率会误判模板更新的收益。
- 回滚是让后续任务回到上一版,不是让已经发生的输出消失;回滚目标、存量处理与复盘责任要提前定。
阅读导航:上一节:10.1 能力路线图 · 下一节:10.3 能力下线与迁移 。
常见错误与边界
- 把提示词当文案直接改生产。 提示词改的是行为,不是措辞;没有版本、灰度与回滚,等于让全部客户一起做实验。
- 只设灰度比例,不设观察周数。 模板问题常常跨客户、跨数据包重复出现;B 的试点要 6 周,扩大要 8 周,不是跑一天看感觉。
- 只看采纳率,不看返工率与错误率。 一次采纳变多但返工变贵,平均审改时长可能上升;三档指标要一起看。
- 把回滚当撤销发布。 已经产生的报告与审改不会消失;回滚要回答存量怎么处理、谁复盘。
- 模型切换按提示词的风险处理。 模型切换影响全部任务的输出分布,默认高风险;旧模型是否仍可用也不由你控制。
- 回滚目标没有提前验证。 版本号还在,不代表上一版还能跑;依赖的模型、工具、数据格式都可能已经变了。
发布解决的是「怎么把新能力放出去」,但产品还有另一半:旧能力怎么收回来。下一节讲下线与迁移。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。