研究最容易骗过的不是用户,是做研究的人。
一、三个月证据,只记住了支持自己的
以下情境为教学假设,人物、引语和数字不代表经核实的真实案例。
祝宁做了一款时间记录工具,花三个月做了十几场访谈。做完了,他很确信一件事:用户最需要的是自动计时。
半年后产品上线,自动计时的使用率不到一成,用得最多的是手动补录。
他把三个月的记录翻出来重看,发现有五个人明确说过「我经常忘记开计时,事后补」,这句话和他的判断相反,但他当时只记成了「补录体验不好」。而三个人说过「自动计时会省事」,被他写进了结论。
这就是确认偏误:不是没有证据,而是证据被选择性地记住和解释。
更难察觉的是,祝宁当时并不觉得自己在挑选。他确实听完了所有访谈,也确实做了记录。但记录是概括的,而概括天然会向已有的判断靠拢:和判断一致的话被记成结论,不一致的话被记成「个别情况」。
偏差大多不是发生在采集阶段,而是发生在采集之后的第一次概括里。所以对抗偏差的重点,不是提醒自己别偏,而是让概括这一步有固定的对手。
二、六种偏差与自查问句
| 偏差 | 表现 | 自查问句 |
|---|---|---|
| 引导性提问 | 问题里已经含了答案 | 这句话里有没有预设?换成中性说法还能问吗? |
| 礼貌性回答 | 对方说「挺好的」「会用」 | 他有没有理由说不好?我给的是不是「是/否」题? |
| 熟人样本 | 受访者全是同行或朋友 | 有没有一个人是不认识我的? |
| 幸存者偏差 | 只听到还在用的人 | 走掉的人怎么说? |
| 确认偏误 | 只记住支持自己的话 | 有没有一条记录和我的结论相反? |
| 把噪音当信号 | 三个人里两个人这么说就下结论 | 这个差异会不会只是随机波动? |
六种里最容易犯的是第一和第五。引导性提问在语气里,很难自查;确认偏误在整理阶段,几乎无感。可行的对抗方式是把它们变成固定动作:提纲写完先找人读一遍,专门挑预设;整理时强制列出「反例清单」。
礼貌性回答的根源是关系不对等。 你是开发者,他是用户,他不想让你难堪。降低这种压力的办法是明确说「我更需要听到不好的部分」,并且在对方说问题时不要急着解释。你一解释,他就知道哪些话不该说。
熟人样本的问题不是不真实,是同质。 朋友会说实话,但他们的处境和你太像,给不出你不知道的信息。熟人适合做预演,不适合做结论。
幸存者偏差在反馈里最明显。 提反馈的人是还在用的人,走掉的人不会回来告诉你为什么走。要补这一块,只能主动去找:取消订阅时的问卷、沉默用户的访谈、退款理由。这三种来源都比工单更接近全貌。
把噪音当信号,有一个简单的自查。 三个人里两个人这么说,看起来是多数,但样本只有三个,换个时间再问三个人,结论可能反过来。遇到这种情况,先把结论降级成「待验证」,再加样本,不要急着改产品。
三、样本量的直觉:什么时候算够
单人研究不需要精确的统计功效计算,但需要几个数量级的直觉。
| 想回答的问题 | 大致样本 | 说明 |
|---|---|---|
| 有没有这个可用性问题 | 5 人 | 问题会重复出现,五个人通常能覆盖主要卡点 |
| 这个问题有多普遍 | 10–20 人 | 只能给出粗略范围,不能给精确比例 |
| 两类用户的差异是否存在 | 每组 10 人起 | 差异要足够大才看得出来 |
| 某个比例是多少 | 100 人以上 | 想有 ±10 个百分点的把握,大约需要这个量级 |
粗略直觉:比例估计的误差 ≈ 1 ÷ √样本量
n = 25 → 误差约 20%
n = 100 → 误差约 10%
n = 400 → 误差约 5%
这只是量级参考,不构成统计结论。
一个人最容易犯的错,是用五个人的访谈去推断「有 60% 的用户需要这个功能」。五个人能告诉你「这个问题存在」,不能告诉你「有多少人」。前者足够支撑一次小改动,后者需要数据。
反过来,也不能因为样本小就什么都不做。单人产品的很多决定本来就是低成本的、可回滚的,用五个人定方向、用数据定幅度,是更现实的组合。
「够了」的判断标准是饱和,不是数字。 连续三个受访者没有带来新信息,就可以停;如果第十个人还在说出新问题,说明样本还没覆盖到关键角色。
样本的构成比大小更容易出问题。 二十个同一行业的用户,不如十个跨行业但覆盖三种角色的用户。前者能告诉你这个行业怎么做,后者能告诉你问题是不是普遍的。做研究前先问:我要的是深度还是广度?深度靠同质样本,广度靠分散样本,两者不要混在一轮里。
记录样本的流失。 约了十个人,来了七个,那三个为什么没来,本身就是数据。反复约不到某类角色,往往说明这类人根本不觉得这是个问题,或者你的触达方式对他们无效。
四、把偏差写进记录
降低偏差最有效的办法不是提醒自己客观,而是让记录强制暴露偏差。每条证据加三个字段:
| 字段 | 记什么 | 例子 |
|---|---|---|
| 采集方式 | 访谈、观察、数据、对话 | 远程访谈,40 分钟 |
| 关系 | 是否认识、是否付费 | 不认识,未付费 |
| 偏差标记 | 可能受哪种偏差影响 | 礼貌性回答风险高 |
有了这三列,半年后回看时你能判断:这条结论是不是全靠熟人说的,是不是只在访谈里出现过、从没在观察里出现。
保留反例。 每次整理完,写一句「和我的判断相反的证据是……」。写不出来,通常不是因为没有,而是因为你没在找。这一句话应该出现在决策记录里,和结论并列。
反例清单还有一个副作用:它会让你更愿意做小步验证。当你清楚地知道有两条证据指向相反方向时,很难再说「已经很确定了」,自然会选择先做可回滚的版本。
给结论标上「有效期」。 用户的行为会变,半年前的结论未必还成立。写上采集日期,超过六个月就重新验证一次,这比无限期沿用旧结论安全得多。
让第二个人看一眼。 一个人做研究,没有同事挑战你。可行的替代是:把记录发给一个不做这行的朋友,让他读结论,问「这个结论一定成立吗」。外行的问题往往最直接,因为他们不共享你的假设。
不要用「我觉得用户会」开头写任何结论。 这句话是偏差的入口。改成「三条记录显示……」,逼自己回到证据。
记录里要能看出「谁没说」。 只记说过话的人,会天然偏向表达欲强的人。每次整理后补一句:这类用户里,谁没有出现在我的记录里?答案通常是沉默用户、流失用户、以及不擅长表达但实际在用的那批人。
偏差标记不是自我否定,是给结论标价。 标了「礼貌性回答风险高」的结论,可以用来定方向,不能用来定价格;标了「熟人样本」的结论,可以写进待验证清单,不能写进对外宣传。标记的作用是限定使用范围,不是让结论作废。
五、行动清单与复算验收
偏差无法消除,只能被标注和分担。一个人做研究,最现实的做法是给自己设两道关:采集时用中性问法,整理时强制写反例。两道关都不需要额外工具,只需要在流程里固定两个动作。
- 给现有证据补上采集方式、关系与偏差标记三列
- 每条结论旁边写一句「相反的证据是……」
- 检查样本里有没有至少一个不认识你的人
- 检查提纲里有没有预设答案的问法
- 把「五个人能回答什么、不能回答什么」写进研究计划
- 每次整理后请一个人读结论并提问
- 一个月后统计:有多少结论被新证据修正过
验收标准:能说出最近三条结论各自的偏差风险,以及你为降低它做了什么。 说不出相反证据的结论,通常还没被真正检验过。
使用边界与实操验收
本文讲偏差与样本量的直觉,不涉及访谈、观察与可用性测试的具体执行,那属于第 03 至 05 篇;定价实验的样本设计属于低流量定价实验:样本不够时怎么测 ;证据强度分级属于证据是一本账:四类证据与一张强度表 。
本文也不主张「小样本没有价值」。五个人足够发现问题,十个足够判断方向,只是不能用来说比例。把「发现问题」和「估计规模」分开,很多争论就没有了。
验证以修正率为准:每隔一个季度回看旧结论,统计有多少条被新证据推翻或修正。修正率为零,通常不是因为你判断得准,而是因为你没有再看。
如果修正率过高,比如一半以上的结论都被推翻,说明研究过程本身有问题:可能是问题太抽象,可能是样本全来自同一渠道,也可能你在整理时把想象写成了记录。这时先停一轮新研究,回看已有记录的采集方式。
如果修正率长期为零而产品指标也没变化,最可能的解释是你已经不再做研究了,只是在执行旧判断。这种情况下,重新开始比优化方法更重要。
关键参考与核验范围
本文的样本数与误差为教学演示。核验日期:2026-10-24。
- Nielsen Norman Group: Bias in User Research :研究偏差与提问方式的公开文章索引。
- GOV.UK Service Manual: User research :取样、知情同意与研究记录的操作规范。
上述两条只用于说明研究偏差的公开来源,不构成对任何统计方法的推荐。文中的误差量级只是直觉参考,正式统计推断需要按具体设计与置信水平计算。
系列导航
- 上一篇:优先级:一个人能承受的排序
- 下一篇:决策记录:写清做什么,也写清不做什么
- 回到目录:一个人把用户搞懂:访谈、观察、可用性测试与证据链
- 相关阅读:低流量定价实验:样本不够时怎么测 、证据是一本账:四类证据与一张强度表
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。