第 51–60 天:十人封闭测试

用45分钟任务脚本观察主路径、边界和恢复,给出13小时执行整理预算,按版本保留补测队列、样本局限及数据保护,并以损害和证据决定放行。

十条「挺好用」抵不上一次看见用户在哪个按钮前停了四十秒。

一、封测不是发版,是观察

以下情境为教学假设,人物、引语和数字不代表经核实的真实案例。

一位开发者把产品发给 30 个人,邀请写的是「随便用用,有问题告诉我」。三天后收到 2 条回复:「挺好用」「界面不错」。他把这当成正面信号,直接准备上线。两周后真实用户进来,第一周流失大半,他才发现注册后的第一个页面没有说明下一步。

问题不在那 30 个人,而在邀请方式:没有任务、没有观察、没有记录,收到的只能是礼貌。 封测要的不是评价,是看见动作——用户在哪里停、点了什么、回头找了什么、最后有没有拿到结果。

这一阶段通常没有足够样本做统计,也不该假装有。10 个人的价值在于发现阻断,报告本批观察而不估总体转化率。

二、招 10 个人的四个条件

条件判据不满足会怎样
属于目标人群最近三个月真的做过这件事,或为替代方案付过钱测出来的是好奇心,不是需求
愿意花45分钟明确约时间,知道要做任务而不是随便看看中途离开,记录残缺
愿意被观察接受屏幕共享或录屏,按说明选择观察方式,录制另确认只能听转述,看不到卡点
优先非熟人记录熟悉程度与介绍关系,并主动补缺失角色熟人会给面子,也会替你找理由

招募时把“我们想观察你怎么用,你可随时暂停或退出;是否录制会另行说明”写在邀请里。这句话会筛掉一部分人,但留下的 10 个人更接近真实用户。作为交换,可以给一个月免费使用或一份小礼物,但不要用「帮忙看看」这种人情措辞。

渠道按距离排序:现有等待名单、社群里的活跃提问者、竞品差评里留下具体场景的人,最后才是熟人推荐。每约一个人就记下来源,整理时才能判断某类问题是否只出现在同一渠道的人群里。

三、任务脚本的写法

脚本不是功能清单,而是三个有起点、有终点、有成功判据的任务。主路径一个,高频边界一个,错误恢复一个。

任务对用户说的话起始状态成功判据观察点
T1 主路径从注册开始,拿到第一份结果并保存全新浏览器、未登录、邮箱可收信注册到导出全程无需协助首次停顿位置、是否找说明、是否知道下一步
T2 高频边界用这份接近上限、格式不规整的文件完成一次处理已登录、有一份历史结果得到结果或看到可理解的失败原因是否反复改文件、是否猜测格式、错误提示是否读懂
T3 错误恢复处理中途断网,恢复后继续并确认没有重复扣费已登录、测试支付方式恢复后拿到结果,订单只有一笔是否知道要重试、是否重复提交、是否检查账单

一份完整脚本示例(T1):

任务:完成第一次交付
对用户说:「假设你刚听说这个工具,手上有一份 CSV。请从注册开始,
拿到一份处理后的结果,并把它保存下来。过程中请把想法说出来。」
起始状态:全新浏览器、未登录、无历史数据、邮箱可正常收信
成功判据:注册 → 输入 → 看到结果 → 导出,四步完成且全程无协助
观察点:哪一步停顿超过 30 秒;是否回头找说明;是否误点导航;
        看到结果后是否知道下一步;是否主动尝试导出

写脚本时避免三类词:「请测试注册功能」是在考记忆,「你觉得这个页面怎么样」是在要评价,「这里可以点」是在给答案。要写用户的目标,不写产品的功能名。

一场45分钟这样分配:5 分钟说明与同意,15 分钟 T1,10 分钟 T2,10 分钟 T3,最后留 5 分钟追问。超时就停,不要为了做完三个任务而压缩追问;未完成的任务本身就是记录。

正式测试前找一位不在目标人群里的同事预演一次,45分钟的脚本可用于检查歧义与任务长度。预演的记录不计入 10 人,也不要拿预演里发现的问题当作用户证据。

四、观察记录表

七列,缺一列就会在整理时说不清。

用户任务是否完成耗时卡点位置原话截图/备注
U03T1否6 分 20 秒注册后停在空白首页「它是不是还没加载完?」首页无下一步提示
U07T1是4 分 10 秒导出按钮在结果页底部「原来要往下滚」首屏未露出导出

填写规则:原话逐字记,不改写成结论;耗时记到卡点,不只记总时长;卡点写到具体控件或页面,不写「体验不好」;截图只截必要区域,避免带入无关个人信息。每场结束后 5 分钟内整理,隔一天细节就会丢。

工具用一张表格就够,不必上专业测试平台。关键是每一行都能回到一段录像或一句原话;如果某一行只有你的判断而没有证据,整理时先删掉它,避免把自己的猜测写进结论。

五、不干预原则

只记录,不指导。用户问「这样对吗」,回答「按你平时的方式做就好」;用户找不到按钮,不要指,先看他往哪里找。你越早介入,越测不到真实路径。

除安全、隐私、参与者不适等应立即中止的情形外,本例在用户完全停住超过3分钟时,可以给一条最小提示,例如「这个页面需要先选一个文件」,并在记录里标注「已提示」。被提示过的任务不计入独立完成,否则 7/10 的判据会失真。

还有三条纪律:不辩护(「这里其实是为了……」)、不解释设计、不在任务中途问「你觉得怎么样」。任务结束后再追问「刚才你在找什么」「你原本以为会发生什么」,这两问比满意度评分有用。

如果只有你一个人执行,先取得适用的录制同意;不录制时也可用必要的观察笔记记时间点,不要一边提问一边打字。回看录像时只标注三类时刻:停顿超过 30 秒、点了又退回、说出疑问。这三类时刻通常对应真正的卡点。

六、问题分级

级别定义例子处理时机
P0用户无法完成主路径,或结果错误、金额错误、数据泄露支付成功但结果页空白;导出文件缺行立即修,修完找受影响用户复测
P1有明显摩擦,但存在绕行办法导出按钮在首屏外;错误提示指向不明记入上线后第一批,不阻塞发布
P2偏好、文案、美观、罕见路径按钮颜色;某个词不够准确进待办池,按周处理

P0 的定义要窄:不能完成、结果错、钱错、数据泄露。用户说「有点慢」「不太好看」不是 P0。反过来,只要出现一次金额错误或数据丢失,即使只有一个人遇到,也按 P0 处理。

P0立即停止相关损害并修复,不能只按编号决定发布;P1若涉及适用法律义务、系统性误导或无法接受的损害也应先处理,其余轻微摩擦可明确记录后置。把 P1 当 P0 修,是封测阶段最常见的延期原因:修完一个又发现三个,十天过去,发布还在原地。

P0 修完后要找原卡住的用户复测同一个任务,复测通过才销项;如果对方不方便,至少找一位同条件的新用户走同一段。只靠自测通过就销项,等于把「我修好了」当成「用户能用」。

七、远程测试与现场测试

维度远程现场
工具视频通话加屏幕共享,必要时录屏同房间旁观,纸笔记录
观察粒度看得到屏幕与鼠标,听得到停顿和自语还能看到表情、身体前倾、犹豫的手势
成本招募与排期灵活,可跨地域通勤、场地与时间成本更高
偏差网络与设备差异;被观察感较弱主试者在场,用户更容易紧张或求助
适合分散用户、早期快速取样本地用户、需要看清情绪与操作细节

多数个人项目从远程开始更现实。远程的补偿办法是要求用户全程出声思考,并在关键停顿处追问,而不是等他做完再回忆。

八、预先写判据,修复版单独记录

本例测试前写:目标10人、同版同任务、主路径至少7人独立完成、恢复至少5人完成,且没有未处置的法律/安全/数据/资金硬阻断。7/10与5/10只是内部教学门槛,不是统计证明。

若只有6人到场,报告实际6人结果与缺失角色,不临时把门槛改成5/6来宣告原计划通过。可补招,或因风险和预算选择限范围再测/暂缓;调整目标须在下一轮招募前记理由。

初版6/10后修复再测3人,应记录“v1为6/10,v2为3/3”,不能拼成9/13称作修复版完成率。原问题复验与新版一般可用性取样分开:前者确认缺陷修复,后者需预先设队列、任务、人数及停止规则。本例为v2预定新招10人、同样7/10与5/10门槛;预算只容3人时先做定向复验,其余验证未完成,不为凑数字无限补测。

7/10的Wilson 95%区间约39.7%–89.2%,是在独立、相同成功概率二项模型下的计算;定向招募不自动满足代表性,区间不修复同群、同设备和主试者偏差。即使招到101人,也不能据此声称市场成功率已验证。

8.1 45分钟脚本与工时账本

说明同意5 + T1 15 + T2 10 + T3 10 + 追问5 = 45分钟
执行:10 × 45 ÷ 60 = 7.5小时
整理:10 × 24 ÷ 60 = 4小时
定向复验:3 × 30 ÷ 60 = 1.5小时
合计:7.5 + 4 + 1.5 = 13小时

累计20小时任务额度余7小时,15小时额度余2小时;这些是局部额度示例,不要求连续十天工作。按01统一日历,第51–60天8个工作日,半职32小时、全职64小时,扣13后分别余19/51小时,可用于招募、预演、修复和其他已登记任务。若要执行新版10人一般测试,还需另估工时,不把它藏进1.5小时定向复验。

若初测仅6人,执行6×45/60=4.5小时、整理6×24/60=2.4小时,再加1.5小时定向复验,共8.4小时;较省工时不等于证据同样完整。

九、常见错误

错误后果更好的做法
邀请朋友并问「好不好用」得到鼓励,得不到卡点招目标人群,给任务,做观察
脚本写成功能清单测的是记忆和猜测写用户目标与成功判据
中途提示或解释掩盖真实卡点只记录,3 分钟后才给最小提示
只记完成与否无法定位问题记卡点位置、原话与耗时
只看等级名称放行风险未处置法律、安全与损害优先,其余按预算排期
用 10 人算转化率结论过度解读小样本只当放行门槛,注明样本量

十、行动清单

  • 写下目标人群的一个具体行为,用它筛人。
  • 列出 15 个候选,按四个条件筛到 10 人。
  • 为 T1、T2、T3 各写一句用户目标与成功判据。
  • 准备 T2 的边界文件与 T3 的断网方法。
  • 打印或建好七列记录表,先填一行示例。
  • 约定每场45分钟,前 5 分钟说明「我不会教你」。
  • 每场结束 5 分钟内整理原话与卡点。
  • 第 60 天按 7/10、零 P0、5/10 三条判据做放行决定。

使用边界与实操验收

记录版本、队列、角色、任务和是否提示。只有目标用户主动完成的任务计独立完成;采购人访谈是另一类证据,不能用采购角色硬替换实际使用者。

涉及可识别个人的记录时,先确定处理基础、告知用途与期限,只收任务必需内容。研究同意不等于公开引用许可;删姓名后仍可识别的引语仍按个人信息处理。录屏使用虚构或已获授权的样本,关闭通知,遇到第三人、账户或敏感资料先暂停。公开、委托及跨境处理分别核对适用条件,不能靠“已脱敏”一概放行。目的完成后按规则删除;法定保留或技术上难以删除的,按适用规定限制处理。

验收:脚本各段合计45分钟,邀约一致;10人执行整理及3人定向复验合计13小时;补测前写好新版规则。录制可拒绝或暂停,必要事实仍可用观察笔记确认,不因没录像就删除有效观察。

关键参考与核验范围

以下链接支持对应的规则;本文的招募条件、任务设计与判据均为方法演示,不构成法律或合规意见。核验日期:2026-10-23。

  • 中华人民共和国个人信息保护法 :按可识别性和处理行为核对第4、13、17、25、47条,内部研究与公开引用分开,删除和必要保留分别处理。

  • 电子商务法 :封测若收取定金、预售或承诺上线后权益,转入经营行为时要履行告知与履约义务,邀请文案不宜留下无法兑现的承诺。

  • NIST比例区间公式 :支持Wilson计算,不证明便利样本代表总体。计算复现见第10篇。

系列导航

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「Indie」更多文章

  1. 定价复盘:价格、转化、留存与退款的一张表
  2. 低流量定价实验:样本不够时怎么测
  3. 结账页:币种、税费、失败重试与拒付