本系列的读者可能知道索卡尔事件。可能也还记得第十四期神论文——那一期里,作者用论文生成器写了一篇论文,挑了一份开放出版期刊寄过去,竟然被接受了。
嗯,现在有人对这个实验进行了一项 “多位点跨文化重复实验”。
John Bohannon, 哈佛大学的一位生物学家,在过去的10个月里用假名、假单位和假论文——用他自己的话说是“任何评审者,只要拥有高中水平以上化学知识、并能读懂基本的数据图表,就应该能立刻看到论文的问题,它的实验缺陷得一塌糊涂,所有结果都毫无意义”——投给了304个开放出版期刊(Open Access)。
超过一半的期刊接受了这篇文章。
这个结果,连同其背后的所有数据分析,让他在Science上发表了一篇正儿八经的文章,同样不负神论文之名。
——————————
发生了什么呢?
所谓开放出版,是过去十年里逐渐兴起的一项新运动。这个运动的基本宗旨如下:传统的期刊需要交很贵的订阅费才能读到,这对科研和公众了解科学都是不利的。科学研究成果应当供全民免费阅读。
这个纲领很美好,但是出版总是有开销的,谁来支付呢?作者。
是不是想到了“版面费”。
这就是开放出版行业的重大问题。的确,有几家顶尖的期刊我们可以指望靠得住。但是没有什么能阻止谁拉个架子自己创立一个看起来像模像样、实际上毫无原则的期刊。实际上一份新的开放出版期刊可以完全无视文章质量,因为反正也不是靠卖期刊本身回本。科研产业化的时代,不愁没人投稿。
很多这样的期刊,主编等信息都刻意遮蔽起来。但是IP追踪、汇款账号查询等手段能使这些信息无所遁形。
[红线代表接受的,绿线代表被拒的。大圆环代表发行方,小圆环是编辑,实心圆点是银行。
这张图对应的动态信息图示见此http://scicomm.scimagdev.org ,可以看到每条线都是什么期刊]
如果这只是一小撮没节操的开放期刊,倒也无妨。但是这个现象超越了一小撮的范围。超过半数的期刊接受了这篇论文,其中有著名学术出版集团Sage家和Elsevier家的,有神户大学这样著名学校出版的,有学术协会的,甚至有些期刊的名字和论文内容八竿子打不着也接受了的。
不过谢天谢地,总还有些拒绝掉的。有些过去一直被骂评审质量差的期刊给出了极其严格的审核。PLOS ONE,公共科学图书馆项目的旗舰杂志,是唯一一家注意到实验伦理问题的杂志。期刊编辑和作者核对了各式各样的实验基本前提之后才送出去审核——2星期后就因研究质量问题拒掉了。
——————————————————————
为了做这场直钩钓鱼,作者其实还是精心准备的,他没用论文自动生成器,而是专门写了一篇假论文。目的是“一篇粗看起来可信的普通论文,但其中有严重的错误,让合格的评审者很容易就能发现、认定它不适合发表”。
基本的格式是:分子X,来自地衣物种Y,能抑制癌细胞Z。作者写了一个小数据库,把各种分子和地衣物种和癌细胞组合在一起,生成了数百篇论文,除此之外这些论文剩下的部分都一样,都是手写的。
作者的名字和他所属的单位都是虚构的,用非洲地名人名拼出来的。
文章的基本内容很简单,首先把癌细胞放在有这个分子的环境中培养,表明这个分子浓度增加抑制了癌细胞的生长;然后对它进行辐射模拟放疗,表明这个分子增加了细胞对放疗的敏感度。
文章中有众多明显错误,最大的是第一张图。图注声称有剂量依赖效应——这也是全文的主旨——但是图上数据显然是完全相反的。五个不同的数量级浓度,得出的效果都不大,而且完全一样。
其实看一下论文的方法就知道问题在哪里了:这个分子是用缓冲液溶解的,其中有超乎寻常的酒精——但对照组根本没加缓冲液。观察到的数据其实是酒精毒性。
第二个实验更加过分,对照组根本就没有得到辐射,观察到的效果只不过是单纯的辐射抑制而已。
为了避免对方对作者流利的英语水平产生怀疑,作者特意把全文用谷歌翻译翻成法语再翻回英语,然后校正了那些明显的错译,得到一篇语法正确但明显不是英语母语的人写出来的文章。
——————————————————————
最后的结果是:到发稿时为止,304个期刊里,157接受,98拒绝。余下的49个里,有29个似乎废弃了,网站和邮箱无人照顾;还有20个编辑说论文依然在评审中。这49个没有纳入分析范围。接受平均花40天,拒绝平均花24天。
在255个经历了完整编辑过程直到接受或者拒绝的期刊里,大概60%的最终决定没有表现出同行评审的迹象。对于拒绝的例子,这是好事——说明期刊的质量控制不错,编辑直接发现了问题,干脆就没寄出去评审。但对于接受的例子,这大概说明根本就没人读过这篇文章。106家期刊谨慎地进行了评审,但评审结果却是70%接受了。大部分评语只在乎文章的格式、行文和用语。这106次评审里,只有36次有人提到了论文的科学问题。而虽然有这些责难,其中还是有16家期刊决定最后发表。
完整的分析见此: http://www.sciencemag.org/content/342/6154/60.full
原文转自http://www.guokr.com/post/515303/


雷达卡




京公网安备 11010802022788号







