《AI Agent 产品开发·组织、平台与规模化》12.3 招人看什么

Agent 产品招人最容易看错的地方,是把会调提示词当成会做产品。本节给出五项面试判据、三种常见误招的识别方法,并用 B Quill 的报告质量题演示:能把「写得好」变成「返工率、事实错误率、审改时长」的人,才值得进入下一轮,同时给出可运行的评分与误招识别函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

Agent 产品招聘有一个很隐蔽的错位:岗位描述写的是「熟悉大模型、会写提示词、有 Agent 项目经验」,面试问的也是这些,但真正决定产品能不能上线的,是另一件事——能不能把「做得好」写成可判定的验收。

会调提示词的人能把演示做得很好,因为演示的输入是挑过的、输出是看过的。可判定的验收要求他面对没见过的输入,说清楚什么算对、什么算错、错了怎么发现。这两种能力不矛盾,但也不等价。招聘如果只考前者,招进来的人会在放量阶段暴露短板。

一个判断:能不能写出可判定验收

面试不需要考很多维度。一个核心判断就够:给定一个模糊的业务目标,候选人能不能写出三条可判定的验收标准,并说明每条标准怎么测、阈值从哪来、失败时怎么定位。

这个判断之所以有效,是因为它同时考了四件事。第一,他能不能把目标拆成可观察的结果;第二,他知不知道基线数字从哪里来;第三,他有没有想过失败模式;第四,他能不能把标准写到别人也能执行。这四件事,正好对应 Agent 产品从任务定义到放量的主要工作。

反过来,只会调提示词的人通常会在第二步卡住:他能说出「让模型更准确」,但说不出「准确」怎么测;能说出「加一个反思步骤」,但说不出反思后错误率应该降到多少;能说出「用更好的模型」,但说不出换模型的成本和退出路径。

五项面试判据

五项判据覆盖从任务到交接的完整链条。每项 0–2 分,满分 10 分;8 分是及格线,和全书 45 项评审的 72/90 同为 80%。

判据面试问题2 分的表现0 分的表现
可判定验收给一个模糊目标,写三条验收每条有指标、阈值、测法只说「效果更好」
失败模式列出四种失败及表现每种能对应到可观察信号只说「模型会出错」
基线数字问人工基线从哪来能说出公式与口径拍一个「大概」
接管成本问人接回来要多久能拆审计与转人工认为不需要接管
领域证据问对错标准由谁定能说清例外与签字人认为模型自己会判断

五项里最重要的是第一项和第五项。可判定验收决定产品能不能被验收,领域证据决定验收标准是不是专业。中间三项可以入职后补,但这两项如果空白,后面很难补回来,因为它们涉及的是判断习惯,不是工具熟练度。

面试时不要只听得出的结论,要听他的推导。比如候选人说「返工率要低于 12%」,追问他「为什么是 12%,不是 10% 或 15%」。能说出「这是扩大阶段的退出线,试点线是 15%,两者差 3 个百分点」的人,和说「行业惯例」的人,是两种不同的产品判断。

用 B Quill 的报告题做例子

B Quill 的业务是客户报告起草。月报告量 606 份,人工基线 4.2 小时一份,Agent 介入后审改 1.6 小时。质量分布是一次采纳 63%、小改 28%、返工 9%,事实错误率 4.6%。

面试题可以这样出:给候选人一份报告需求,让他写出放量前的验收标准。合格的答案至少要包含三条。

第一条,事实错误率不高于 5.0%。这是 B 扩大阶段的退出条件,不是拍出来的数字。候选人要能解释:试点阶段允许 7.0%,扩大阶段收紧到 5.0%,当前是 4.6%,余量只有 0.4 个百分点。

第二条,返工率不高于 12.0%。同样是扩大阶段的退出条件,试点线是 15.0%,两者差 3.0 个百分点。候选人要能说出:返工率不是越低越好,低于 12.0% 才说明初稿的结构和事实都可用;如果只盯一次采纳率 63%,会忽略小改和返工两部分。

第三条,审改时长不超过 1.6 小时。这是 B 的人工基线,也是价值能否成立的关键。如果审改从 1.6 小时升到 3.0 小时,节省率会大幅下降,续约谈判就会变成重新比价。候选人要能意识到:报告产品的验收不只是「写得像不像」,还包括「人改起来要多久」。

三道题都答对,说明候选人能把业务目标翻译成可复算的门槛。只答「文字通顺、事实准确、客户满意」的人,不管提示词写得多好,都不适合进入下一轮。

三种常见误招

误招不是能力差,而是能力结构与岗位不匹配。三种最常见。

第一种,只会调提示词。他的答案是「换更好的模型」「加 few-shot」「让模型自我反思」,但写不出一条可判定的验收,也说不清失败模式。这类人适合做原型,不适合做放量。

第二种,只会追演示效果。他能把 demo 做得很好,输入挑得干净,输出调得漂亮,但一问基线和失败率就空白。演示效果是必要的,但它只证明「能跑通」,不证明「能承接流量」。Agent 产品的失败往往发生在没被演示覆盖的输入上。

第三种,没有领域证据。他认为对错由模型判断,或者认为「用户会告诉我们对不对」。这类人在 B 的报告题上会答「让客户审改」,但说不出审改标准由谁定义、例外怎么覆盖。领域判断不能外包给模型,也不能外包给用户。

三种误招有重叠,所以识别时要看空白项的组合,而不是只看一个缺点。可判定验收和失败模式都空白,偏提示词型;失败模式和基线都空白,偏演示型;领域证据空白,偏领域游客型。

招人评分怎么定

五项判据,每项 0–2 分,满分 10 分。8 分及格,对应 80%。这个分数线不是为了精确排序,而是为了把「能用」和「再看看」分开。

评分时要注意两件事。第一,不要因为一项特别强就忽略其他项。一个候选人在领域证据上拿 2 分,但可判定验收是 0 分,仍然不应该及格,因为产品工作最终要落到验收。第二,不要把「会调提示词」单独加分。提示词是工程手段,不是产品判断;它可以在面试中体现,但不应该成为独立判据。

及格线以上还要看组合。五项全 2 分是理想情况,但现实中更常见的是有一项 1 分。1 分意味着「知道概念但没做过」,可以在入职后补;0 分意味着「没有这个判断习惯」,补起来更慢。招聘决策要看 0 分出现在哪一项,而不是只看总分。

把面试判据写成可运行结构

下面这个模型把五项判据、三种误招和 B 的报告题写成可运行结构。它不替代面试官,只保证评分口径一致、误招识别有据可查。

// file: src/scale/12-3-hiring.ts
// tier: L2
// verify: node --test test/scale/12-3-hiring.test.ts

// 招人看一件事:能不能把「做得好」写成可判定的验收。
// 会调提示词是加分项,不是及格线。

import { QUILL } from "../cases.ts";
import { divide } from "../core/rate.ts";
import { fail, ok, type Result } from "../core/result.ts";

export type Criterion =
  | "testable-acceptance"
  | "failure-modes"
  | "baseline"
  | "handoff"
  | "domain-evidence";

export const CRITERIA: readonly Criterion[] = [
  "testable-acceptance",
  "failure-modes",
  "baseline",
  "handoff",
  "domain-evidence",
];

export const CRITERION_LABEL: Record<Criterion, string> = {
  "testable-acceptance": "可判定验收",
  "failure-modes": "失败模式",
  baseline: "基线数字",
  handoff: "接管成本",
  "domain-evidence": "领域证据",
};

export const MAX_PER_CRITERION = 2;
export const MAX_SCORE = CRITERIA.length * MAX_PER_CRITERION;

// 80%,与 45 项评审 72/90 同一条通过线。
export const PASS_BPS = 8_000;
export const PASS_SCORE = Math.ceil((MAX_SCORE * PASS_BPS) / 10_000);

export type Answer = {
  readonly criterion: Criterion;
  readonly score: 0 | 1 | 2;
  readonly note: string;
};

export type Candidate = {
  readonly name: string;
  readonly answers: readonly Answer[];
};

function answerScore(candidate: Candidate, criterion: Criterion): number {
  const answer = candidate.answers.find((item) => item.criterion === criterion);
  return answer ? answer.score : 0;
}

export function score(candidate: Candidate): number {
  return CRITERIA.reduce(
    (total, criterion) => total + answerScore(candidate, criterion),
    0,
  );
}

export function scoreBps(candidate: Candidate): number {
  return divide(score(candidate), MAX_SCORE);
}

export function passes(candidate: Candidate): boolean {
  return scoreBps(candidate) >= PASS_BPS;
}

export type MisHire = "prompt-tweaker" | "demo-chaser" | "domain-tourist";

export const MIS_HIRE_LABEL: Record<MisHire, string> = {
  "prompt-tweaker": "只会调提示词",
  "demo-chaser": "只会追演示效果",
  "domain-tourist": "没有领域证据",
};

// 三种误招各有可辨认的空白项;先命中先返回,避免一个人被贴两个标签。
export function misHire(candidate: Candidate): MisHire | null {
  const acceptance = answerScore(candidate, "testable-acceptance");
  const failure = answerScore(candidate, "failure-modes");
  const baseline = answerScore(candidate, "baseline");
  const domain = answerScore(candidate, "domain-evidence");
  if (acceptance === 0 && failure === 0) return "prompt-tweaker";
  if (failure === 0 && baseline === 0) return "demo-chaser";
  if (domain === 0) return "domain-tourist";
  return null;
}

// B Quill 的质量事实:一次采纳 63%、小改 28%、返工 9%,
// 三档相加必须是 100%;事实错误率 4.6%。
export const QUILL_QUALITY = {
  onceAdoptBps: 6_300,
  minorEditBps: 2_800,
  reworkBps: 900,
  factErrorBps: 460,
} as const;

// 面试题:给 B 写一条报告验收。可以用的线只有事实表里的扩大阶段退出条件。
export const QUILL_FACT_ERROR_MAX_BPS = 500;
export const QUILL_REWORK_MAX_BPS = 1_200;
export const QUILL_REVIEW_HOURS = 1.6;

export type AcceptanceDraft = {
  readonly measurable: boolean;
  readonly factErrorBps: number;
  readonly reworkBps: number;
  readonly reviewHours: number;
};

export function gradeQuillAcceptance(
  draft: AcceptanceDraft,
): Result<AcceptanceDraft> {
  if (!draft.measurable) {
    return fail("acceptance is not measurable");
  }
  if (draft.factErrorBps > QUILL_FACT_ERROR_MAX_BPS) {
    return fail("fact error gate is looser than the expansion gate");
  }
  if (draft.reworkBps > QUILL_REWORK_MAX_BPS) {
    return fail("rework gate is looser than the expansion gate");
  }
  if (draft.reviewHours > QUILL_REVIEW_HOURS + 1e-9) {
    return fail("review time exceeds the 1.6 hour baseline");
  }
  return ok(draft);
}

export function qualityBalanced(): boolean {
  return (
    QUILL_QUALITY.onceAdoptBps +
      QUILL_QUALITY.minorEditBps +
      QUILL_QUALITY.reworkBps ===
    10_000
  );
}

export function caseName(): string {
  return QUILL.name;
}

CRITERIA 是五项判据,score 按项累加,scoreBps 把总分换成基点,passes 用 80% 作为及格线。PASS_SCORE 由 MAX_SCORE 和 PASS_BPS 推出,不另行硬编码,避免改了满分却忘了改及格线。

misHire 用空白项组合识别三种误招:可判定验收和失败模式都空白,偏提示词型;失败模式和基线都空白,偏演示型;领域证据空白,偏领域游客型。识别顺序是先命中先返回,避免一个人被贴两个标签。

QUILL_QUALITY 把 B 的 63%、28%、9% 写成同一结构,qualityBalanced 验证三档相加等于 100%。gradeQuillAcceptance 检查候选人写的三条门槛:事实错误率不高于 5.0%,返工率不高于 12.0%,审改时长不超过 1.6 小时。它用近似比较处理 1.6 小时的浮点,避免严格相等带来的误差。

模型不能判断候选人是否诚实,也不能替代背景调查。它能做的是把「我觉得他不错」变成「他在哪一项拿了 0 分」,让招聘讨论有共同的刻度。

招聘的两个边界

第一条边界:面试题不能替代真实工作样本。报告题能看出判断结构,但看不出协作方式、交付习惯和抗压能力。通过面试只是进入试用期的前提,不是结论。

第二条边界:不要用同一套题招所有角色。产品、设计、工程、领域专家的判据不同;这一节的标准主要面向产品与领域交叉的岗位。工程岗要加工具面、可观测性和回滚设计,设计岗要加失败态与可打断性。

小结

  • 招人看一件事:能不能把「做得好」写成可判定的验收,不看会不会调提示词。
  • 五项判据:可判定验收、失败模式、基线数字、接管成本、领域证据。
  • 每项 0–2 分,满分 10 分,8 分及格,与 45 项评审的 72/90 同为 80%。
  • B Quill 的报告题三条门槛:事实错误率 5.0%、返工率 12.0%、审改 1.6 小时。
  • 三种误招:只会调提示词、只会追演示效果、没有领域证据。
  • 评分要看 0 分出现在哪一项;总分相同,能力结构可能完全不同。
  • 面试题不能替代真实工作样本;不同角色要用不同判据。

阅读导航:上一节:12.2 决策会怎么开 · 下一节:13.1 五级成熟度模型 。

常见错误与边界

  1. 把会调提示词当核心能力。 提示词是工程手段,不是产品判断;写不出可判定验收的人,放量阶段会暴露短板。
  2. 只考演示效果。 演示的输入是挑过的,输出是看过的;Agent 产品的失败往往发生在没被演示覆盖的输入上。
  3. 不追问阈值来源。 候选人说「返工率低于 12%」时,要追问为什么不是 10% 或 15%;说不出退出线来源的人,数字是背的。
  4. 用总分掩盖结构。 五项总分 8 分但可判定验收是 0 分,仍然不该及格;0 分出现在哪一项,比总分更重要。
  5. 把领域判断外包给模型或用户。 对错标准要由领域专家签字;认为「用户会告诉我们」的人,无法定义验收。
  6. 一套题招所有角色。 产品、设计、工程、领域专家的判据不同;工程岗要加工具面与回滚设计,设计岗要加失败态与可打断性。

这一节回答「招人看什么」。下一章进入全书收口:用五级成熟度模型判断团队现在在哪一级,下一步该补什么。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图