双盲与开放审查：一个模拟

一个值得研究的假设是，作者/评论者的总体规模是否影响科学家的作者行为和他们的评论者行为之间的关联程度。例如，在一个小领域，科学家可能会提高平均效率evelhttps://www.ref.ac.uk/publications/guidance-on-submissions-201901/by以审稿人的身份工作，这可能会违背他们的私利。相反，在一个大的领域，一个人的决定似乎不太可能影响该领域的整体标准。虽然这个假设是合理的，但我们从该模型的当前版本中得出的一些令人惊讶的结果表明，我们应该对这些直觉保持敏感，直到它们被普遍趋势的模拟或分析结果所验证。4结论我们没有试图在技术层面上推进模拟方法。是的，这种熟悉是一种优势，因为我们的主题太新了，需要将新方法和新领域结合起来；我们使用基础良好的工具消除了这种风险。在理论上，与分析证明相比，我们的研究不可避免地存在模拟研究的缺陷。然而，由于我们正在探索新的理论，在开发出更真实、更精确的模型之前，最好不要进行这种证明。在这一点上，模拟可以提供令人惊讶的信息，说明同行评议中的一些想法是如何相互作用的。我们的研究结果说明了复杂的制度环境及其改革的一个重要的普遍观点：即使在简化的模型中，也很难预测激励机制将如何相互作用，或者它们将如何应对政权更迭。在这些方面，人类直觉的高度易错性意味着博弈论建模还有很多需要补充的地方。

虽然博弈论的结果不可避免地只是可能的结果（代理人可能不会有策略性的行为），但这些结果可以对我们关于科学家将如何应对制度改革的直觉起到强大的纠正作用，尤其是我们在复制危机中经常有的强烈直觉。多年来，Francesc Car reras Escobar丰富了博弈论的基本原理和应用。他运用博弈论来理解欧洲政治机构[Carreras等人，2016]和加塔罗尼亚议会[Carreras和Owen，1988]等机构，这是博弈论力量的鼓舞人心的体现。虽然我们并不假装已经在本文中实现了这样的可行模型，但我们希望在同行评议的博弈论研究中为匹配他的成功奠定基础。感谢Todd Stambaugh（美国纽约市城市大学）为论文提供的帮助，尤其是选题。资助Mantas Radzvilas、Francesco De Pretis、William Peden和Barbara Osimania承认来自欧洲研究理事会（GA n.639276）和马尔奇理工大学（意大利安科纳）的资助。利益冲突申请人声明不存在利益冲突。数据和材料的可用性（数据透明度）作者可在要求时提供本手稿的雇佣数据。代码可用性（软件应用程序或自定义代码）作者可根据要求提供本手稿的使用代码。作者的贡献Mantas Radzv ilas开发了该模型，主要运行s模拟，并共同编写了第2节。法国sco De Pre tis开发了模拟过程、模拟、共同编写了第2节，并开发了图形。威廉·佩登撰写了第1节和第3节，并共同撰写了第2节。

Danie le Tortoli开发了模拟结果的测量，开发了图形，并进行了模拟。B阿尔巴拉·奥西马尼提出了这个话题，并就这篇文章进行了持续的讨论。参考文献J。阿姆斯特朗。期刊同行评议：质量控制、公平和创新的证据。科学与工程伦理学，3（1）：63-841997年3月。内政部：10.1007/s11948-997-0017-3。统一资源定位地址https://doi.org/10.1007/s11948-997-0017-3.C.伯纳德。社论：出版中的性别偏见：双盲审查作为解决方案？eneuro，5（3）：eneuro。0225–2018年5月18日。内政部：10.1523/eneuro。0225-1 8.2018. 统一资源定位地址https://doi.org/10.1523/eneuro.0225-18.2018.L.E.布鲁姆。人口游戏。在W.B.Arthur、S.N.Durlauf和D.A.Lane的《编辑：作为一个不断发展的复杂系统的经济》，第17章，第425-460页。艾迪生·卫斯理，雷丁，马萨诸塞州，第1版，1997年。内政部：10.1201/9780429496639。统一资源定位地址https://doi.org/10.1201/9780429496639.A.E.Budden、T.Tregenza、L.W.Aarssen、J.Koricheva、R.Leimu和C.J.Lortie。双盲审查有利于增加女性作家的代表性。《生态与进化趋势》，23（1）：4-6，2008年1月。doi:10.1016/j.tree。2007.07.008. 统一资源定位地址https://doi.org/10.1016/j.tree.2007.07.008.D.卡和S·德拉维尼亚。关于经济学顶级期刊的九个事实。《经济文献杂志》，51（1）：144–161，2013年3月。doi:10.1257/jel。51.1.144.统一资源定位地址https://doi.org/10.1257/jel.51.1.144.F.Carre ras和G.Owen。1980年至1984年对ca塔隆议会的评估。数学社会科学，15（1）：87-921988。内政部：10.1016/0165-4896（88）90032-7。统一资源定位地址https://doi.org/10.1016/0165-4896(88)90032-7.F.Carreras、J.Freixas和A.Magana。维度，如欧洲投票系统的灵活性和决定性。运营研究与决策，26（2）：31–522016。内政部：10.5277/ord160203。

统一资源定位地址http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-e1e2603c-976e-440b-bc14-eabcda8c0bef.D.E.Chubin，E.J。哈克特和E·J。哈克特。无与伦比的科学：同行评议和美国科学政策。纽约州立大学出版社，1990年。D.R.科默和M.施瓦茨。同行评议中的羞辱问题。《伦理与教育》，9（2）：141-156，2014年5月。内政部：10.1080/17449642.2014.913341。统一资源定位地址https://doi.org/10.1080/17449642.2014.913341.D.考克斯、L.格雷泽、M.帕尔曼、N.里德和K.罗德。双盲裁判特设委员会报告。统计科学，8（3）：310–317，1993年8月。内政部：10.1214/ss/1177010904。统一资源定位地址https://doi.org/10.1214/ss/1177010904.E.亲爱的。使用双盲Peer r e view来增加作者多样性。《保护生物学》，29（1）：297-2992014年7月。doi:10.1111/cobi。12333.URLhttps://doi.org/10.1111/cobi.12333.M.艾斯·恩哈特。同行评议的悖论：承认太多还是允许太小？《科学教育研究》，32（2）：241-255，2002年。内政部：10.1023/a:101608229411。统一资源定位地址https://doi.org/10.1023/a:1016082229411.L.Engqvist和J.G.Frommen。双盲同行评议和性别出版偏见。动物行为，76（3）：e1-e2，2008年9月。内政部：10.1016/j.anbehav。2008.05.023. 统一资源定位地址https://doi.org/10.1016/j.anbehav.2008.05.023.D.法内利。观点：科学真的在制造再现性危机吗？我们需要它吗？《美国国家科学院院刊》，115（11）：262 8–2631，2018年3月。内政部：10.1073/pnas。1708272114.URLhttps://doi.org/10.1073/pnas.1708272114.M.A.弗伯和M.泰曼。女性生态经济学家在发表期刊文章时处于劣势吗？《东方经济杂志》，6（3/4）：189-1931980年。统一资源定位地址https://www.jstor.org/stable/40324755.F.费德勒和J·威尔科克斯。科学结果的再现性。斯坦福哲学百科全书编辑E.N.Zalta。

斯坦福大学形而上学研究实验室，2018年冬季版，2018年。统一资源定位地址https://plato.stanford.edu/archives/win2018/entries/scientific-reproducibility/.S.鱼做自然发生的事：变化、修辞，以及文学和法律研究中的理论实践。杜克大学出版社，1989年。内政部：10.1215/9780822381600。统一资源定位地址https://doi.org/10.1215/9780822381600.D.福登伯格和D·K·莱文。在游戏中学习的理论。麻省理工学院出版社，2007年。B·K·加瓦洛夫。谁能从do uble盲评审中获胜？再生生物学进展，2（1）：26879，2015年1月。内政部：10.3402/arb。v2。26879.URLhttps://doi.org/10.3402/arb.v2.26879.A.盖尔曼。处理一些案件。《意义》，第12（3）：33–352015年6月。内政部：10.1111/j.1740-9713.2015.00828。x、 网址https://doi.org/10.1111/j.1740-9713.2015.00828.x.M.格利穆尔先生和川崎先生。出版偏见研究中的出版偏见回顾：以下是一份对编辑的建议，可能有助于减少出版偏见。BMJ，331（7517）：638.22005年9月。内政部：10.1136/bmj。331.7517.638-a.URLhttps://doi.org/10.1136/bmj.331.7517.638-a.F.戈德利。让评论者可见。JAMA，287（21）：27622002年6月。doi:10.1001/jama。287.21.2762. 统一资源定位地址https://doi.org/10.1001/jama.287.21.2762.D.S.哈默梅什。60年的顶级经济学出版：谁和如何？《经济文献杂志》，51（1）：162-172，2013年3月。i:10.1257/果冻。51.1.162. 统一资源定位地址https://doi.org/10.1257/jel.51.1.162.R.希森和L·K·布莱特。同行评议是个好主意吗？英国科学哲学杂志，2019年7月。内政部：10.1093/bjps/axz029。统一资源定位地址https://doi.org/10.1093/bjps/axz029.J.霍夫鲍尔和W·H·桑德霍姆。《随机干扰的博弈中的进化》，经济理论杂志，132（1）：47–69，2007年1月。doi:10.1016/j.jet。2005.05.011. 统一资源定位地址https://doi.org/10.1016/j.jet.2005.05.011.J.P.A.Ioannidis。为什么大多数发表的研究结果都是错误的。

《公共医学杂志》，2（8）：E1242005年8月。doi:10.1371/期刊。pmed。0020124.网址https://doi.org/10.1371/journal.pmed.0020124.J.P.A.Ioannidis。为什么科学不一定是自我修正的。《心理科学透视》，7（6）：645–654，2012年11月。内政部：10.1177/1745691612464056。统一资源定位地址https://doi.org/10.1177/1745691612464056.L.R.Izquierdo、S.S.Izquierdo和W.H.Sandho lm。toABED简介：基于Agent的进化博弈动力学模拟。《游戏与经济行为》，2019年11月，118:434–462。doi:10.1016/j.geb。2019.09.014.统一资源定位地址https://doi.org/10.1016/j.geb.2019.09.014.V.奈特和J·坎贝尔。Nashpy：用于计算灰平衡的python库。《开源软件杂志》，3（30）：9042018年10月。doi:10.21105/joss。00904.网址https://doi.org/10.21105/joss.00904.E.A.Larg ent和R.T.Snodgrass。学术期刊上的盲目同行重新审视。《盲法作为偏见的解决方案》第75-95页。Else vier 2016。doi:10.1016/b978-0-12-802460-7.00005-x.URLhttps://doi.org/10.1016/b978-0-12-802460-7.00005-x.B.Lot Fi和O.Mahian。为什么学术期刊更倾向于双盲重读。韩国医学杂志，29（10）：14382014。doi:10.3346/jkms。2014.29.10.1438. 统一资源定位地址https://doi.org/10.3346/jkms.2014.29.10.1438.R.E.卢卡斯。经济计量政策评估：批判。卡内基-罗切斯特公共政策系列会议，1:19–46，1976年1月。内政部：10.1016/s0167-2231（76）80003-6。统一资源定位地址https://doi.org/10.1016/s0167-2231(76)80003-6.D.G.梅奥。统计推断作为严格的测试。剑桥大学出版社，2018年9月。内政部：10.1017/9781107286184。统一资源定位地址https://doi.org/10.1017/9781107286184.R.G.纽科姆。减少公众偏见。BMJ，295（6599）：656-659，1987年9月。内政部：10.1136/bmj。295.6599.656. 统一资源定位地址https://doi.org/10.1136/bmj.295.6599.656.Open科学合作。评估心理科学的再现性。

《科学》349（6251）：aac4716–aac4716，2015年8月。doi:10.1126/科学。aac47 16。统一资源定位地址https://doi.org/10.1126/science.aac4716.D.彼得斯和塞西。心理学期刊的同行评议实践：已发表文章的命运，aga于年提交。行为与脑科学，5（2）：187-1951982年6月。内政部：10.1017/S0140525x0001183。统一资源定位地址https://doi.org/10.1017/s0140525x00011183.R.皮特金先生。盲目的手稿审查：一个时机已到的想法？妇产科，85（5）：781-782，1995年5月。统一资源定位地址https://journals.lww.com/greenjournal/citation/1995/05000/blinded_manuscript_review__an_idea_whose_time_has.27.aspx.J.A.雷林。评判同行评议的游戏。管理学与教育学院，7（1）：124–129，2008年3月。内政部：10.5465/amle。20 08.31413869. 统一资源定位地址https://doi.org/10.5465/amle.2008.31413869.L.罗杰斯。手稿：失明还是不失明，这是个问题。《美国放射学杂志》，179（6）：1373-1373，2002年12月。内政部：10.2214/ajr。179.6.1791373. 统一资源定位地址https://doi.org/10.2214/ajr.179.6.1791373.D.J.西蒙斯。直接复制的价值。《心理科学透视》，9（1）：76–802014年1月。内政部：10.1177/17456 91613514755。统一资源定位地址https://doi.org/10.1177/1745691613514755.P.E.斯马尔迪诺和R.麦克·勒赖斯。对糟糕科学的自然选择。皇家开放科学学会，3（9）：160384，2016年9月。内政部：10.1098/rsos。160384.URLhttps://doi.org/10.1098/rsos.160384.R.斯诺德格拉斯。单盲与双盲复习。ACM SIGMODRecord，35（3）：8-21，东南角。2006.内政部：10.1145/1168092.1168094。统一资源定位地址https://doi.org/10.1145/1168092.1168094.C.R.泰勒和H.伊尔德林。主观表现和盲目评价的价值。《经济研究评论》，78（2）：762–794，2011年2月。内政部：10.1093/restud/rdq005。统一资源定位地址https://doi.org/10.1093/restud/rdq005.D.翻译过来。这是复制危机的先验解决方案。

哲学心理学，3 1（8）：1188-1214，2018年7月。内政部：10.1080/09515089.2018.1490707。统一资源定位地址https://doi.org/10.1080/09515089.2018.1490707.L.特纳。在同行评议中推广f.a.i.t.h.：有效同行评议的五个核心属性。学术伦理学杂志，1（2）：181-188，2003年。doi:10.1023/b:jaet。0000006844.09724.98. 统一资源定位地址https://doi.org/10.1023/b:jaet.0000006844.09724.98.R.L.瓦瑟斯坦和N.A.拉扎尔。ASA关于pvalues的声明：背景、过程和目的。《美国统计学家》，70（2）：129–133，2016年4月。内政部：10.1080/00031305.2016.1154108。统一资源定位地址https://doi.org/10.1080/00031305.2016.1154108.T.J.韦伯、B.奥哈拉和R.P.雀斑。双盲评论对女性作家有益吗？《生态与进化趋势》，23（7）：351-353，2008年7月。doi:10.1016/j.tree。2008.03.003. 统一资源定位地址https://doi.org/10.1016/j.tree.2008.03.003.D.温德勒和F.米勒。生物伦理学中同行评议的伦理。《医学伦理学杂志》，40（10）：697-701，2013年10月。内政部：10.1136/medethics-2013-101364。统一资源定位地址https://doi.org/10.1136/medethics-2013-101364.FIGURESFigure1：作者的策略分配。这里我们举一个作者之间策略分布的例子。在第（1a）组中，以数字1表示的绿色是最高的效果等级，以数字6表示的红色是最低的效果等级，而在第（1b）组中，基于相同数据的表格是表（2）中所示矩阵（b）支配的开放式审查系统的s hown（a）图，=0.3，u=（0.3，1.6）。

在这张照片中，策略百分比（Y轴）与轮数（X轴）绘制策略数据1 2 3 4 5 6 S E[E]最后3000轮71.7 4±6.72 1 7.26±5.31 5.31±2.37 2.85±1.63 1.73±1.09 1.12±0.71 1.490 0 0.751完整历史73.61±7.84 17.15±6.72 3.93±2.19 2.65±1.72 1.62±1.18 1.05±0.76 1.447 0.755（b）以百分比表示平均值和标准偏差的表格如面板（1a）所示，计算每个策略随时间的变化（轮数）。最后两列报告了策略的加权平均值和作者工作水平的预期值。这两个指标都是针对全套数据和最近3000轮的。图2：作者的策略分布。在左侧面板上，显示了代表双盲系统下互动的图表，而在右侧面板上，则报告了源自开放式审查机制的示例。策略百分比（Y轴）与轮数（X轴）相对照。同时，在上面板（a）和（b）中，我们显示了作者在=0.1时的策略分布，在下面板（c）和（d）中显示了作者在=0.4（a）（δ，u）=（0，0）（b）（δ，u）=（0.3，1.6）（c）（δ，u）=（0，0）（d）（δ，u）=（0.3，1.6）时的策略分布。图（2）中的左面板和右面板有组织地反映了评论家对作者的看法。类似地，在上面板（a）和（b）中，我们显示了审核员对=0.1的策略分布，在下面板（c）和（d）中显示了=0.4（a）（δ，u）=（0，0）（b）（δ，u）=（0.3，1.6）（c）（δ，u）=（0，0）（d）（δ，u）=（0.3，1.6）表1：=0.2的支付矩阵示例。

矩阵（a）是针对双盲系统定义的，其特点是纯策略中有26个纳什均衡，而矩阵（b）是针对开放审查机制计算的，显示纯策略中有6个纳什均衡。评审员1 S2 S3 S4 S5 S6作者1（1.10,1.00）（1.10,1.00）(-0 .03, 1.00) (-0.03, 1.00) (-0.03, 1.00) (-0.03,1.00）S2（1.10,1.0）（1.10,1.00）（1.10,1.00）(-0.04, 1.00) (-0.04, 1.00) (-0.04,1.00）S3（1.10,1.0）（1.10,1.00）（1.10,1.00）（1.10,1.00）(-0 .05, 1.00) (-0.05,1.00）S4（1.10,1.0）（1.10,1.00）（1.10,1.00）（1.10,1.00）（1.10,1.00）(-0.06,1.00）S5（1.10,1.0）（1.10,1.00）（1.10,1.00）（1.10,1.00）（1.10,1.00）（1.10,1.00）S6（1.10,1.0）（1.10,1.00）（1.10,1.00）（1.10,1.00）（1.10,1.00）（a）为（δ，u）=（0,0）计算的支付矩阵（1.10,1.00）(-0.03, 1.00) (-0.03, 1.00) (-0.03, 1.00) (-0.03,1.00）S2（1.10,1.06）（1.10,1.03）（1.10,1.00）(-0.04, 1.00) (-0.04, 1.00) (-0.04,1.00）S3（1.10,1.17）（1.10,1.14）（1.10,1.11）（1.18,1.08）(-0.05, 1.00) (-0.05,1.00）S4（1.10,1.36）（1.10,1.33））（1.10,1.30））（1.18,1.27））（1.34,1.24）(-0.06,1.00）S5（1.10,1.55）（1.10,1.52）（1.10,1.49）（1.18,1.46）（1.34,1.43）（1.50,1.40）S6（1.10,1.74）（1.10,1.71）（1.10,1.68）（1.18,1.65）（1.34,1.62）（1.50,1.59）（b）为（δ，u）=（0.3,1.6）计算的支付矩阵表2：支付矩阵的示例。