研究复盘:每季度推翻哪些假设
季度末翻开假设清单,他发现五个假设已经没人再提:不是被证实,是被忘掉。研究复盘要回答的不是「这季度做了什么研究」,而是「哪些判断被推翻、哪些证据过期、下一季只查哪三件事」。被推翻的假设,比被证实的更有价值。
tag
季度末翻开假设清单,他发现五个假设已经没人再提:不是被证实,是被忘掉。研究复盘要回答的不是「这季度做了什么研究」,而是「哪些判断被推翻、哪些证据过期、下一季只查哪三件事」。被推翻的假设,比被证实的更有价值。
同一个「加导出」的需求,半年里被讨论了四次,每次结论都不一样,因为没人记得上次为什么否决。决策记录不是会议纪要,是一页能复查的判断:依据哪几条证据、决定了什么、明确不做什么、什么条件下重开。写它只要十五分钟,省下的是重复争论。
做了三个月研究,他记住的却全是支持自己判断的那几句。偏差不是学术问题,是每天都在发生的自我欺骗:引导性提问、礼貌性回答、熟人样本、幸存者偏差、确认偏误、把噪音当信号。每一种都有对应的自查问句与记录标记。
RICE 需要触达人数、影响面、置信度与工作量,前两项一个人根本估不准。单人项目的排序不是选出最重要的十件事,而是选出这周只做的一件:用证据强度、可逆性与成本三个因子算分,再把并行任务压到一条主线上。
「能不能加个导出」这句话里其实有三件事:一个真实的流程缺口、一个用户自己想的解法、还有一点没被满足的情绪。分诊就是把它们拆开,再把五种不同说法合并成一条可判断的问题,用影响面、频次与可复现性打分,而不是谁喊得响就先做谁。
做到第五个人,问题开始重复:前四个人已经暴露了八成卡点。可用性测试不需要实验室,也不需要统计显著,只要五个真实用户、三个核心任务、一张四列记录表,加上一条最难守的纪律——不帮忙。要产出的是问题清单与严重度,不是满意度评分。
受访者说「导入很方便,拖一下就行」,录屏里他先复制路径、再点三次菜单、最后才拖,中间停了 40 秒。观察记录的不是印象,是动作:停顿、绕路、替代工具和重复操作。一个人做观察不需要实验室,只需要一张表和不帮忙的克制。
他问了十个人「如果有个工具能自动整理会议纪要,你会用吗」,十个人都说会,最后只有两个人付钱。回看录音才发现,没有人被问过上一次做纪要是什么时候、花了多久、用的什么办法。访谈的成败不在技巧,在问题指向过去还是将来。
他问了十个朋友,八个是同城的产品经理,于是得出「大家都要移动端」。上线后七成用户是门店店长,坐在电脑前。样本错不是数量问题,是角色问题:使用者、付款人、决策者要分开取样,还要留两个反例,十个人才能撑起一个判断。
一个月里他做了十几条判断,没有一条能复查:访谈只留了结论,观察只记得印象,数据只看了总量,销售对话散在聊天记录里。用户研究不是多聊几个人,而是把证据分成四类、标出强弱、算清采集成本,让每个决定都能追溯到一条原始记录。
10 篇讲一个人怎么做用户研究:先把访谈、观察、行为数据与销售对话记成一本证据账,再用一张取样表找十个对的人;然后是访谈提纲、观察记录、五人三任务的可用性测试、反馈分诊、单人排序、六种偏差、一页决策记录,最后按季度复盘哪些假设被推翻。