APP NPS调研的数据偏差

大型APP每年都做用户满意度或者NPS调研，NPS就是用户净推荐值，了解用户多大可能把这款APP推荐给其他人，本质上还是测量用户满意度。

但调研数据常常带有误导性

用户调研理论上不难，但真实执行并不容易，APP管理层想要了解真实的用户反馈，是一件比较难的事，他们经常被偏差很大的数据所误导。

几年前，我去某大型互联网集团拜访，他们掌握了互联网流量入口，旗下有几个主力APP，但多数APP的体验不大行，尤其内容社区APP，起了个大早，一度辉煌，但逐渐衰落。因为这个APP的体验一直停留在最初比较差的水平上，而竞争对手们却快速进化。

我与对方的一位高管聊天，说这个APP好像体验不大行，存在什么什么样的问题，他瞪大了眼睛很吃惊地说，我们每年都做用户满意度调研，数据都很好啊！

当时我就明白了两件事，一是他们获得的数据存在很大的偏差，二是高管层并不真正使用他们自己的APP，不了解真相。

调研数据失真的原因

第三方调研公司的数据为什么失真呢？这种失真不是“误差”带来的，而是一种系统性的“偏差”。

偏差来自两个方面，一是委托方内部的原因，执行NPS调研的部门，倾向于得到“好看”的数据。NPS调研的目的是了解用户反馈，但实际上也反映了产品团队的工作业绩，如果调研本身就是由产品团队主导的，自己评价自己，很容易产生道德风险。

虽然用户调研是由第三方调研机构完成的，看似公正客观，但实际不然，委托方一句话就能左右结果。

二是调研公司的原因。最近几年用户调研的执行环境、执行方式发生了巨大的变化，大规模的电话调研无法执行，线下调研的成本又太高，所以现在执行大规模定量问卷的方式主要有三种，一是“Panel”，也就是一些调研公司维护的样huang本niu池qun，二是二级调研代理商，层层外包你懂的，三是网络问卷发放，但数据回收问题也比较大。这里无法展开说。

结果就是，调研公司提交的数据，本身就有很大的偏差，南辕北辙也不奇怪。

如何获得真实的用户反馈

那么APP管理层怎么样获知真实的用户满意度呢？有两个方面，一是在机制上规避道德风险，虽然用户调研的目的不是考核，但客观上反映了工作成绩。主导用户调研的部门，不能是被评价的部门，而应当是独立的小组。

其次，在调研执行上，应当做好全过程的质量管理。很多委托方把调研任务交给调研公司后，基本上相当于进入了黑箱，不管是本土的还是国际的调研公司，在真实执行上往往存在很多不可控的问题。

如果没有可靠的调研供应商，实际上我认为在APP里，设置一个调研入口，或者直接弹窗邀请用户参与有奖调查，就是非常好的方式。