偏差:六种自我欺骗

做了三个月研究,他记住的却全是支持自己判断的那几句。偏差不是学术问题,是每天都在发生的自我欺骗:引导性提问、礼貌性回答、熟人样本、幸存者偏差、确认偏误、把噪音当信号。每一种都有对应的自查问句与记录标记。

研究最容易骗过的不是用户,是做研究的人。

一、三个月证据,只记住了支持自己的

以下情境为教学假设,人物、引语和数字不代表经核实的真实案例。

祝宁做了一款时间记录工具,花三个月做了十几场访谈。做完了,他很确信一件事:用户最需要的是自动计时。

半年后产品上线,自动计时的使用率不到一成,用得最多的是手动补录。

他把三个月的记录翻出来重看,发现有五个人明确说过「我经常忘记开计时,事后补」,这句话和他的判断相反,但他当时只记成了「补录体验不好」。而三个人说过「自动计时会省事」,被他写进了结论。

这就是确认偏误:不是没有证据,而是证据被选择性地记住和解释。

更难察觉的是,祝宁当时并不觉得自己在挑选。他确实听完了所有访谈,也确实做了记录。但记录是概括的,而概括天然会向已有的判断靠拢:和判断一致的话被记成结论,不一致的话被记成「个别情况」。

偏差大多不是发生在采集阶段,而是发生在采集之后的第一次概括里。所以对抗偏差的重点,不是提醒自己别偏,而是让概括这一步有固定的对手。

二、六种偏差与自查问句

偏差表现自查问句
引导性提问问题里已经含了答案这句话里有没有预设?换成中性说法还能问吗?
礼貌性回答对方说「挺好的」「会用」他有没有理由说不好?我给的是不是「是/否」题?
熟人样本受访者全是同行或朋友有没有一个人是不认识我的?
幸存者偏差只听到还在用的人走掉的人怎么说?
确认偏误只记住支持自己的话有没有一条记录和我的结论相反?
把噪音当信号三个人里两个人这么说就下结论这个差异会不会只是随机波动?

六种里最容易犯的是第一和第五。引导性提问在语气里,很难自查;确认偏误在整理阶段,几乎无感。可行的对抗方式是把它们变成固定动作:提纲写完先找人读一遍,专门挑预设;整理时强制列出「反例清单」。

礼貌性回答的根源是关系不对等。 你是开发者,他是用户,他不想让你难堪。降低这种压力的办法是明确说「我更需要听到不好的部分」,并且在对方说问题时不要急着解释。你一解释,他就知道哪些话不该说。

熟人样本的问题不是不真实,是同质。 朋友会说实话,但他们的处境和你太像,给不出你不知道的信息。熟人适合做预演,不适合做结论。

幸存者偏差在反馈里最明显。 提反馈的人是还在用的人,走掉的人不会回来告诉你为什么走。要补这一块,只能主动去找:取消订阅时的问卷、沉默用户的访谈、退款理由。这三种来源都比工单更接近全貌。

把噪音当信号,有一个简单的自查。 三个人里两个人这么说,看起来是多数,但样本只有三个,换个时间再问三个人,结论可能反过来。遇到这种情况,先把结论降级成「待验证」,再加样本,不要急着改产品。

三、样本量的直觉:什么时候算够

单人研究不需要精确的统计功效计算,但需要几个数量级的直觉。

想回答的问题大致样本说明
有没有这个可用性问题5 人问题会重复出现,五个人通常能覆盖主要卡点
这个问题有多普遍10–20 人只能给出粗略范围,不能给精确比例
两类用户的差异是否存在每组 10 人起差异要足够大才看得出来
某个比例是多少100 人以上想有 ±10 个百分点的把握,大约需要这个量级
粗略直觉:比例估计的误差 ≈ 1 ÷ √样本量
  n = 25  → 误差约 20%
  n = 100 → 误差约 10%
  n = 400 → 误差约 5%
这只是量级参考,不构成统计结论。

一个人最容易犯的错,是用五个人的访谈去推断「有 60% 的用户需要这个功能」。五个人能告诉你「这个问题存在」,不能告诉你「有多少人」。前者足够支撑一次小改动,后者需要数据。

反过来,也不能因为样本小就什么都不做。单人产品的很多决定本来就是低成本的、可回滚的,用五个人定方向、用数据定幅度,是更现实的组合。

「够了」的判断标准是饱和,不是数字。 连续三个受访者没有带来新信息,就可以停;如果第十个人还在说出新问题,说明样本还没覆盖到关键角色。

样本的构成比大小更容易出问题。 二十个同一行业的用户,不如十个跨行业但覆盖三种角色的用户。前者能告诉你这个行业怎么做,后者能告诉你问题是不是普遍的。做研究前先问:我要的是深度还是广度?深度靠同质样本,广度靠分散样本,两者不要混在一轮里。

记录样本的流失。 约了十个人,来了七个,那三个为什么没来,本身就是数据。反复约不到某类角色,往往说明这类人根本不觉得这是个问题,或者你的触达方式对他们无效。

四、把偏差写进记录

降低偏差最有效的办法不是提醒自己客观,而是让记录强制暴露偏差。每条证据加三个字段:

字段记什么例子
采集方式访谈、观察、数据、对话远程访谈,40 分钟
关系是否认识、是否付费不认识,未付费
偏差标记可能受哪种偏差影响礼貌性回答风险高

有了这三列,半年后回看时你能判断:这条结论是不是全靠熟人说的,是不是只在访谈里出现过、从没在观察里出现。

保留反例。 每次整理完,写一句「和我的判断相反的证据是……」。写不出来,通常不是因为没有,而是因为你没在找。这一句话应该出现在决策记录里,和结论并列。

反例清单还有一个副作用:它会让你更愿意做小步验证。当你清楚地知道有两条证据指向相反方向时,很难再说「已经很确定了」,自然会选择先做可回滚的版本。

给结论标上「有效期」。 用户的行为会变,半年前的结论未必还成立。写上采集日期,超过六个月就重新验证一次,这比无限期沿用旧结论安全得多。

让第二个人看一眼。 一个人做研究,没有同事挑战你。可行的替代是:把记录发给一个不做这行的朋友,让他读结论,问「这个结论一定成立吗」。外行的问题往往最直接,因为他们不共享你的假设。

不要用「我觉得用户会」开头写任何结论。 这句话是偏差的入口。改成「三条记录显示……」,逼自己回到证据。

记录里要能看出「谁没说」。 只记说过话的人,会天然偏向表达欲强的人。每次整理后补一句:这类用户里,谁没有出现在我的记录里?答案通常是沉默用户、流失用户、以及不擅长表达但实际在用的那批人。

偏差标记不是自我否定,是给结论标价。 标了「礼貌性回答风险高」的结论,可以用来定方向,不能用来定价格;标了「熟人样本」的结论,可以写进待验证清单,不能写进对外宣传。标记的作用是限定使用范围,不是让结论作废。

五、行动清单与复算验收

偏差无法消除,只能被标注和分担。一个人做研究,最现实的做法是给自己设两道关:采集时用中性问法,整理时强制写反例。两道关都不需要额外工具,只需要在流程里固定两个动作。

  • 给现有证据补上采集方式、关系与偏差标记三列
  • 每条结论旁边写一句「相反的证据是……」
  • 检查样本里有没有至少一个不认识你的人
  • 检查提纲里有没有预设答案的问法
  • 把「五个人能回答什么、不能回答什么」写进研究计划
  • 每次整理后请一个人读结论并提问
  • 一个月后统计:有多少结论被新证据修正过

验收标准:能说出最近三条结论各自的偏差风险,以及你为降低它做了什么。 说不出相反证据的结论,通常还没被真正检验过。

使用边界与实操验收

本文讲偏差与样本量的直觉,不涉及访谈、观察与可用性测试的具体执行,那属于第 03 至 05 篇;定价实验的样本设计属于低流量定价实验:样本不够时怎么测 ;证据强度分级属于证据是一本账:四类证据与一张强度表 。

本文也不主张「小样本没有价值」。五个人足够发现问题,十个足够判断方向,只是不能用来说比例。把「发现问题」和「估计规模」分开,很多争论就没有了。

验证以修正率为准:每隔一个季度回看旧结论,统计有多少条被新证据推翻或修正。修正率为零,通常不是因为你判断得准,而是因为你没有再看。

如果修正率过高,比如一半以上的结论都被推翻,说明研究过程本身有问题:可能是问题太抽象,可能是样本全来自同一渠道,也可能你在整理时把想象写成了记录。这时先停一轮新研究,回看已有记录的采集方式。

如果修正率长期为零而产品指标也没变化,最可能的解释是你已经不再做研究了,只是在执行旧判断。这种情况下,重新开始比优化方法更重要。

关键参考与核验范围

本文的样本数与误差为教学演示。核验日期:2026-10-24。

上述两条只用于说明研究偏差的公开来源,不构成对任何统计方法的推荐。文中的误差量级只是直觉参考,正式统计推断需要按具体设计与置信水平计算。

系列导航

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「Indie」更多文章

  1. 开源项目验收:十项能力、四维评分与三种不该开源的项目
  2. 治理、fork 与退出:17 位贡献者、82% 的提交与一次改协议的代价
  3. 双许可与企业版:九家询价、两家成交与 4,800 美元