心理学及研究对象的笔记(心理学的七宗罪)

心理学及研究对象的笔记(心理学的七宗罪)(1)

说到开放科学open science,不得不提一本书:The 7 Deadly Sins of Psychology - A Manifesto for Reforming the Culture of Scientific Practice (by Chris Chambers).

Chris是致力于open science的心理学家,也是我为数不多尊敬的人之一。他写这本书是抱着失望而又置之死地而后生的革命精神。这本书狠狠的揭心理学研究的伤疤,细数了阻碍心理学发展的七宗罪,并倡议对此作出改变,改革我们现在做心理学研究的风格和方式。在书的一开始,Chris变引用了F. Scott Fitzgerald的一句话:

“One should be able to see the things are hopeless and yet be determined to make them otherwise.” (“我们要意识到事情糟糕得无可救药,但却同时有决心让其脱胎换骨。”)

接下来一周七日的头条文章里,我将陆续向你们呈现这七宗罪。这一次,第一罪:偏见 (Bias)

发表偏见(publication bias):预知未来?!

要是给历史上最荒谬的研究,预知未来这个心理学实验应该可以排前三了。

2011年,Daryl Bem发表了一篇文章,声称人类可以预知未来。

同时,joy(开心)这个词也可以prime出愉悦的情感反应。那么,当我们给被试展示joy,然后上图的时候,因为两者是和谐的,被试能够很快的给出对应的情感反应。但是,如果我们给被试展示murder(谋杀),再展示上图的时候,两者能够激发的情感是相反的,这种矛盾会导致被试更慢的给出对应于图片的情感反应。

而Daryl Bem把这种标准的priming范式反着来进行(reversed priming task)。他要求被试先给出情感反应,再向他们展示单词和图片。神奇的(荒谬的),Bem发现事后展示的primes可以影响事先给出的情感反应的时间。所谓的预知未来。

理所当然的,这篇文章发表之后惹来众议。当科学家们想要验证某个理论的时候,他们怎么做呢?

心理学及研究对象的笔记(心理学的七宗罪)(2)

没错,replication!重复性实验!

Chris French & Stuart Ritchie便是很多实验室之一针对这个研究进行了重复性实验,根本没有发现可以证明人能预知未来的任何证据。然而,当他们把文章递交给发表了Bem的文章的期刊(Journal of Personality and Social Psychology)时,被拒绝了。

这便是心理学界(或者在其他领域也是)的其中一个偏见:publication bias (发表偏见)--- 期刊杂志偏好于发表显著,positive effect的研究,不喜欢接受不显著,null effect的研究;喜欢发表原创有意思的,证明已有理论的研究,不喜欢发表重复性实验研究。

这里需要强调的是,没有任何一个科学家反对科学需要原创需要创新需要挑战常规,但是要让科学稳步前进,使其有真正意义上的发展,我们必须对所有研究一视同仁。诚然,很多positive effect (例如能够“证明”人能预知未来)的文章非常创新非常sexy,但是它们很有可能是错误的。

发表偏见不仅让有可能反驳已验证理论的研究无见天之日,同时,在如此publish or perish的风气之下,也在变性的鼓励科学家们不去重复验证实验或理论,而一味追求性感的研究。

确认偏见(confirmation bias):选择任务AD47

我们每天所谓的做科学,其实就是通过收集数据(Data)来检验(test)一个假设(Hypothesis)。当你做实验、收集数据的时候,心里想的是什么呢?“我在检验甚至尝试反驳(falsify)一个假设” 还是 “我在证明(confirm)一个假设”?数学上,我们可以表达为 P(data | ~hypothesis) vs P(data | hypothesis).

如果是后者,那么其实你心里已经有答案了。你已经主观上认为某个假设是否为真,true or false,某个效应是否存在,是否significant,或者是否p<0.05。而你做实验,只是在寻找能够支持你主观观点的证据而已。这会影响到数据收集,数据分析,进而影响实验结果和研究结论。即,确认偏见(confirmation bias)。

修昔底德说过:

“When a man finds a conclusion agreeable, he accepts it without argument, but when he finds it disagreeable, he will bring against it all the forces of logic and reason” (“当一个人认同一个结论的时候,他会无丝毫争议地接受。而当他不认同的时候,他会竭尽所力用逻辑和理性打到它”)

说到这里不得不提一个著名的实验。这个是第一个证明了确认偏见真实存在的实验:选择任务AD47。

心理学及研究对象的笔记(心理学的七宗罪)(3)

Wason告诉被试,现在有一个不变的定律,在一张有两面的卡片,一面是数字,另外一面是字母 (如上图是两张卡片的四面)。然后再告诉被试一个假设(记住,是假设),这个假设可以是真的也可以是假的:“如果一面是字母A,那么另外一面就是数字4”。最后,Wason问被试:“你想翻开哪些牌去检验这个假设?”被试需要做的就是翻开有信息价值的牌,而不去碰不能提供任何有用信息的牌。

你会选择哪张呢?

在两张字母牌中选择的话,很多人都会选择A,而避开D。这是正确的。因为我们需要的检验的假设是“A-4”。翻开A,看看背面是否是4。如果是,(目前来说)假设检验为正确。如果不是,假设检验为错误。但是如果翻开D的话,不过它的背面是什么数字,都是对于我们假设检验毫无贡献的。

接下来戏肉来了,在两张数字牌中选择的话,你会选择哪种呢?

心理学及研究对象的笔记(心理学的七宗罪)(4)

思考完了么?你是不是选了4恭喜你,

心理学及研究对象的笔记(心理学的七宗罪)(5)

你跟很多人选的是一样的,是错的。

心理学及研究对象的笔记(心理学的七宗罪)(6)

正确的答案应该是翻开7,而不是4。

我们需要检验的假设是“A-4”。我们之前已经证明了A的背面是4,我们现在需要证明的是A的背面只能是4。如果我们翻开7,发现它的背面是A,那么我们检验假设为错误。而很多人选择4而不是7正正证明了很多人对待假设的态度是confirm而不是falsify。这种confirmation bias是我们在做科学的时候需要避免的。抱着证明假设而不是检验假设或者反驳假设的心态,会无法客观的找寻证据、收集数据。

在这两种偏见,确认偏见和发表偏见,再加上其他因素之间的相互作用,慢慢的,心理学被假阳性研究结果、被无科学意义的文章淹没。

心理学及研究对象的笔记(心理学的七宗罪)(7)

by Chris Chambers

改革潮流:开放科学

不满意现状最好的方法就是改变现状。支持并实行开放科学,open science,就是最有效的方法。

而针对于发表偏见和确认偏见,Center for Open Science的registered report就是很好的解决方法。

Registered Reports -peer review before results are known to align scientific

values and practices。以下简称RR。

心理学及研究对象的笔记(心理学的七宗罪)(8)

RR是一个具有改革意义的做科学的方式。

传统的方式是:我有一个idea ---> 我做实验,收集数据 ---> 我写paper ---> 我递交paper ---> peer review ---> 发表paper。

而RR提倡的方式是:我有一个idea ---> 我先把paper1 写好,这个paper1除了实验数据基本上什么都有了 ---> 我递交paper1 ---> peer review 1 ---> idea和paper 1被接受 ---> 按照paper 1中我说的方式,我做实验,收集数据,做数据分析,完成paper 1剩下的部分,变成paper 2,递交paper 2 ---> peer review 2。

心理学及研究对象的笔记(心理学的七宗罪)(9)

这种方式之所以是有革命意义,是因为有两个阶段的peer review,而其中一个发生在收集数据之前。所以,peer review 1只能根据你的idea的价值对你的研究做出是否接受的决定,而不是你的数据是否显著,是否证明假设,或者是否p<0.05。最大可能的降低了发表偏见和确认偏见。只要通过了stage 1 peer review,科学家们需要做的就是根据自己写的paper 1收集数据,撰写论文。

心理学及研究对象的笔记(心理学的七宗罪)(10)

这不仅是正确的做法,而且已经成为潮流趋向。

心理学及研究对象的笔记(心理学的七宗罪)(11)

自从2013年,支持并参与RR的期刊已经到了70 。

心理学及研究对象的笔记(心理学的七宗罪)(12)

自从2013年,实行RR而发表的论文已经达到近200。

作为Center for Open Science的大使,Sharon在最后必须喊一句,支持开放科学,站在历史正确的一边。

Sharon

写于2017年10月12日

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页