►pexels-photo
撰文｜胡传鹏 吕小康
责编｜赵亚杰
知识分子为更好的智趣生活 ID：The-Intellectual
● ● ●
在科学实验中，研究者们往往需要判断某个结果在不同的实验条件下是否有差异，并检验这种差异是不是由于偶然因素造成的。
最伟大的统计学家之一、英国人Ronald Fisher（1890~1962）在上世纪20年代提出了一个假想的思路来确定实验效果是否只靠运气出现：首先假定实验结果在不同实验条件下没有差异，即所得结果是全然随机出现的；然后计算在完全随机的假设下出现当前数据结果或更极端的结果模式出现的概率，这就是当代统计学中所谓的P值。假如出现当前结果模式（及更极端模式）的概率很小，则可以认为，这么小的概率在一次试验中不太可能会出现。从而反推：我们所假设的前提（不同实验条件没有差异）可能是错误的，即不同实验条件应能产生不同的实验效果。这种思想被Fisher命名为显著性检验（test of significance），“显著”在他的原意中，并不表示其他意思，只是表明这一结果不是随机的。在这一推理模式中，最重要的统计指标就是P值。
更年轻的波兰裔统计学家Neyman和英国统计学家Pearson（此Pearson系提出线性相关系数、卡方检验的老Pearson之子），在Fisher的思想框架的基础之上，提出了更具通用性、数学气息也更强的假设检验模式。有意思的是，Fisher本人对Neyman-Pearson的“改进”并无好感，甚至宣称“我和我全世界的学生从未想过要使用他们的方法”，但在后来者的眼中，两者之间在技术与思想上的分歧逐渐淡化，他们的意见被整合成为了大部分研究者所熟悉的一种既不是纯Fisher式、也不是纯Neyman-Pearson式的统计推断方法——零假设显著性检验（Null hypothesis significant test, NHST，也翻译为虚无假设显著性检验）。在NHST模式下，建立原假设和备择假设，选择检验统计量并计算其值，根据P值是否小于显著性水平做出是否拒绝原假设的统计判断，最后再将这种统计判断转化为现实情境下的行为判断（如实验处理、政策干预是否确实有效），成为假设检验的标准流程。NHST是目前科学界使用最广泛的统计方法， P值也因此成为使用最广泛的统计指标。
难以理解的P值虽然P值被广泛使用，但真正理解 P值所代表的意义的人却很少。2002年，德国研究者对心理学的研究者和学生进行一项调查，给他们呈现了6个关于 P值的陈述。所有学生均无法正确理解P值的意义(Haller & Krauss, 2002)；即便是教授方法学的教师，也有80%无法正确理解P值。说明研究者极容易对P值产生误解。他们的这一结果与更早前的一项调查基本上一致(Oakes, 1986)。
►图1. Haller and Krauss (2002) 的调查结果。
（目前，《知识分子》等科学媒体与吕小康副教授（南开大学）、胡传鹏（清华大学、德国美因茨大学）合作，调查国内各个学科的科研人员对 P值的理解情况： https://semtsinghua.au1.qualtrics.com/jfe/form/SV_3Xa4SELbCVvQqwZ。该问卷结束后将提供对结果的详细解读。）
P值与科学界的可重复危机由于P < 0.05在科研界被推上神坛，被研究者视“存在效应”及论文可能发表的指标，在当前“publish or perish（发表或是灭亡）”文化下，就有研究者想尽一切办法让 P值达到可发表的标准。这种做法导致了一个奇怪的现象：如果我们把已发表研究中的 P值分布画出来，会发现 P值分布在0.05附近出现了一个峰值，表明在已发表的研究中，P值在0.05附近是非常多（见图2、图3）。
►图2. 各个学科的P值分布，由R语言的tidypvals工具所绘制。（https://github.com/jtleek/tidypvals）
