心理学堂:论文评审该不该知道作者的信息
发表于 2017-12-25 10:49
心理导读：研究论文（paper）投稿到期刊接受同行审查（Peer review）的过程中，采取单盲（single-blind，亦即审阅人（reviewer）知道论文作者是谁但作者不知审阅人是谁）或是双盲（double-blind，作者不知道审阅人是谁、审阅人也不知道作者是谁）会不会有不同的结果？ ---www.tspsy.com
心理学堂:论文评审该不该知道作者的信息
研究论文（paper）投稿到期刊接受同行审查（Peer review）的过程中，采取单盲（single-blind，亦即审阅人（reviewer）知道论文作者是谁但作者不知审阅人是谁）或是双盲（double-blind，作者不知道审阅人是谁、审阅人也不知道作者是谁）会不会有不同的结果？
「一定的嘛！」相信大家大概都这么认为，但真实情况是否真是如此呢？
其实这是个已被提出来多次讨论的议题，支持双盲制的人也不在少数，只是现今多数期刊仍行使单盲制──审阅人在审稿时仍然能够得知论文作者是谁、任职于哪个机构。过去研究者曾提出几项可能会因此而导致审阅人不公正的效应，例如玛蒂达效应（Matilda effect）指的是在男性主导的领域中，相较于第一作者为女性的论文，第一作者为男性的论文会被认为具有较高的科学价值。至于所谓的马太效应（Matthew effect），指的是知名研究者的新研究成果通常能得到更大的关注。还有，作者如果来自有名的、顶尖的大学或机构，也可能使审阅人产生偏误。
单盲制与双盲制的讨论，其实由来已久
1978 年，当时甫任教于北达科他大学（University of North Dakota）心理系的 Stephen J. Ceci 和已经当了四年助理教授的 Douglas P. Peters 携手进行了一项有趣的实验，该实验于 1982 年发表于期刊《THE BEHAVIORAL AND BRAIN SCIENCES》上。他们从 12 个不同的心理学期刊上找出了 12 篇不同的 paper，这些 paper 的共通点是它们的作者皆来自排名很前面的大学心理系或研究机构、作者本身非常有名与多产、文章达一定程度的引用率、而且是在过去 18-32 个月这段期间所发表的。 Peters 与 Ceci 两人将这 12 篇 paper 的作者姓名和单位名称更改成虚构的姓名与机构名称之后，重新投稿至原本的 12 个期刊。
结果发生了什么事？有三篇被编辑或审阅人发现是已经刊登过的文章，所以只有剩下的九篇进入评审阶段。然后，这九篇之中有八篇被拒绝刊登！而且审阅人最常给的拒绝理由是：研究方法有重大瑕疵（serious methodological flaws）。
这不是很奇怪吗？！如果有重大瑕疵，那这些论文是如何获得先前的审阅人和编辑的认可而获准刊登的？排除几个可能原因之后，Peters与Ceci认为，要么就是第一次遇到的审阅人能力都刚好比较差，要么就是大家都被作者或学校名声给蒙蔽了双眼。
另外一项发表于《PNAS》的新研究则是直接比较了审阅人在知道／不知道作者姓名单位的情况下，对于论文的评价是否有所不同。
这个由 Google 和北京清华大学合作发表的实验直接以投稿至第10届ACM网路搜寻与数据探勘国际会议 （10th International Association for Computing Machinery Conference on Web Search and Data Mining, 缩写为 WSDM 2017）这个研讨会的500篇论文为实验材料。
在电脑科学（computer science）这个领域，研究者多会把研究成果以研讨会论文（conference paper）的形式发表而不是投稿到期刊，而且审稿的时候审阅人会根据全文的结果来决定，而不是只看摘要。
在这个实验中，有半数的审阅人被分派至单盲组，另一半的审阅人则被分派到双盲组。实验包含 bidding 与 reviewing 两阶段。在两个阶段中，单盲组的审阅人都可以看到论文的作者和其所属单位，但双盲组的审阅人是看不到这些讯息的。bidding 时，审阅人根据论文的标题和摘要来表示自己是否愿意审阅某篇文章（他们可以针对每篇论文表示愿意、不愿意、或可能三种选项，也可以不表示任何意见）。在 reviewing 的阶段， 每篇论文都会由四位审阅人来审阅，单盲组和双盲组的各两位。
单盲或双盲，真的会影响审阅结果吗？
结果显示，两个组别的审阅人的行为在三件事情上有所差异。首先，单盲组的审阅人在 bidding 过程中较少表示意见[1]。其次，单盲组的审阅人在 bidding 时比双盲组的更加偏好那些作者来自于顶尖企业[2]或顶尖大学[3]的论文。最后，单盲组的审阅人在审稿完毕后比双盲组的审阅人更有可能给某些论文好评──作者来自顶尖大学／企业、或作者本身就有名[4]的论文。
简而言之，审稿的目的本是为了审视论文内容与品质，但论文作者本身的知名度、作者所属机构的名声都会影响审阅人的判断。这项研究的研究者表示，真的该是认真考虑采用双盲制的时候了。
注解
[1] 在电脑科学领域的研讨会中，bidding 是重要的一环。
[2] 此处所指之顶尖企业包括 Google、 Microsoft、 Yahoo! 与 Facebook。
[3] 顶尖大学为 www.topuniversities.com 之中电脑科学领域的全球前50名。
[4] 有名的作者指至少曾在 WSDM 发表过三篇文章，且发表过的 paper 总数量已经超过一百篇的人。
参考文献
Peters, D. P., & Ceci, S. J. (1982). Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences, 5(2), 187–195. doi:10.1017/S0140525X00011183
Tomkins, A., Zhang, M., & Heavlin, W. D. (2017). Reviewer bias in single- versus double-blind peer review. Proceedings of the National Academy of Sciences, 114(48), 12708–12713. doi:10.1073/pnas.1707323114
(作者：雯菁 | 来源：pansci)
版权声明：标注来源“心灵花园”为原创，版权所有。本站部分资源来自互联网，转载之目的为学术交流与讨论，如因转载侵犯了您的权益，请与我们联系。
Copyright © 2010-2017 TSPSY All Rights Reserved
