双盲与开放审查：一个模拟

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Double blind vs. open review: an evolutionary game logit-simulating the
  behavior of authors and reviewers》
---
作者：
Mantas Radzvilas, Francesco De Pretis, William Peden, Daniele Tortoli
  and Barbara Osimani
---
最新提交年份：
2020
---
分类信息：

一级分类：Economics        经济学
二级分类：Theoretical Economics        理论经济学
分类描述：Includes theoretical contributions to Contract Theory, Decision Theory, Game Theory, General Equilibrium, Growth, Learning and Evolution, Macroeconomics, Market and Mechanism Design, and Social Choice.
包括对契约理论、决策理论、博弈论、一般均衡、增长、学习与进化、宏观经济学、市场与机制设计、社会选择的理论贡献。
--

---
英文摘要：
  Despite the tremendous successes of science in providing knowledge and technologies, the Replication Crisis has highlighted that scientific institutions have much room for improvement. Peer-review is one target of criticism and suggested reforms. However, despite numerous controversies peer review systems, plus the obvious complexity of the incentives affecting the decisions of authors and reviewers, there is very little systematic and strategic analysis of peer-review systems. In this paper, we begin to address this feature of the peer-review literature by applying the tools of game theory. We use simulations to develop an evolutionary model based around a game played by authors and reviewers, before exploring some of its tendencies. In particular, we examine the relative impact of double-blind peer-review and open review on incentivising reviewer effort under a variety of parameters. We also compare (a) the impact of one review system versus another with (b) other alterations, such as higher costs of reviewing. We find that is no reliable difference between peer-review systems in our model. Furthermore, under some conditions, higher payoffs for good reviewing can lead to less (rather than more) author effort under open review. Finally, compared to the other parameters that we vary, it is the exogenous utility of author effort that makes an important and reliable difference in our model, which raises the possibility that peer-review might not be an important target for institutional reforms.
---
PDF下载：
--> English_Paper.pdf (799.66 KB)

2022-4-24 10:17:01 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Evolutionary Contribution Institutions Technologies Game Theory

双盲vs.开放评论：一个进化博弈逻辑图，模拟作家和评论家曼塔斯·拉兹维拉斯、弗朗西斯科·德·普雷蒂斯的行为*, William Peden、Daniele Tortoli和Barbara Osimani2020年11月摘要尽管科学在提供知识和技术方面取得了巨大成功，但复制危机突显出科学机构仍有很大的改进空间。同行评议是批评和改革建议的目标之一。然而，尽管同行评议制度存在诸多争议，加上影响作者和评论者决定的激励因素明显复杂，但对同行评议制度的系统性和战略性分析却很少。在本文中，我们开始运用博弈论的工具来解决同行评议文献的这一特点。我们使用模拟来开发一个基于作者和评论者玩的游戏的进化模型，然后探索它的一些趋势。特别是，我们在各种参数下考察了双盲同行评议和开放评议对激励评议者的相对影响。我们还比较了（a）一种审查制度与另一种审查制度的影响（b）其他变更，例如审查成本较高。我们发现，在我们的模型中，同行评审系统之间没有可靠的差异。此外，在某些情况下，在openreview下，更高的GoodReview报酬可能会导致更少（而不是更多）的作者工作。

最后，与我们改变的其他参数相比，作者的独特效用在我们的模型中产生了重要且可靠的差异，这增加了同行评议可能不是机构改革的重要目标的可能性。双盲同行评议；公开审查；进化博弈论；基于Agent的建模；模拟应用程序危机。分类MSC 91A22；杰尔C73。*通讯作者：弗朗西斯科。depretis@unimore.it.请不要在未经允许的情况下引用wi。1简介复制危机刺激了科学界大量的方法论和制度反思。这场危机的核心很简单：社会心理学和医学等领域的研究复制速度远远低于预期[Open Science Collaboration，2015]。我们都希望一些研究不会重复，因为不准确的数据是不可避免的问题，即使采用随机抽样，也会出现不具代表性的样本。相反，人们担心的是，某些领域的不可重复研究率只能由研究人员的不当行为来解释。有大量文献试图诊断出哪里出了问题，例如[Ioannidis，20052012，Simons，2014，Fanelli，2018，Fidler and Wilcox，2018]。对复制危机也有许多应对措施。一些人主张改革统计方法和概念[Gelman，2015年，Wasserstein and Lazar，2016年，Mayo，2018年，特拉莫，2018年]。其他组织，如AllTrials运动和开放科学中心提出了更高的透明度。

另一种方法是改变科学家工作的更广泛的机构环境。改革提案的一个普遍问题是，如果有动机进行不良科学研究，就可能存在一种潜在的方法论退化趋势，从而绕过针对特定实践的改革[Smaldino和McElreath，2016]。改变制度环境可以增加良好科学实践的激励，从而为复制危机提供更稳定、更有力的改善。每一位科学家都知道，他们的动机很大一部分可以概括为“要么出版，要么灭亡”。出版记录是招聘决定、批准、会议邀请以及科学家在其学术领域的总体声誉的关键因素。然而，在做出这些决定时，通常不可能阅读并系统地评估一位科学家的全部研究成果。因此，科学家们有一个动机，如果他们能够发表低于标准的工作，尽管这种动机不能被其他考虑抵消。一个平衡点是peer-r-eview。因此，同行评议是一种考虑改革的自然制度结构，以减少复制危机背后的不良做法。一些人认为，同行评议制度是净负面因素，应该予以巩固[Heesen and Bright，2019]。更典型的是，特定同行评议制度的倡导者认为，他们的方法可以改善作者和评论者的激励，从而产生更好的研究实践。有许多不同类型的对等视图系统，它们在多个维度上有所不同。差异的一个主要方面是致盲程序。

例如：（1）笔盲：作者的身份对审稿人和编辑都是隐藏的；评论者的身份对作者来说是隐藏的。（2） 双盲：作者和审稿人的身份彼此隐藏。https://www.alltrials.net/https://cos.io/https://blogs.canterbury.ac.nz/surejournal/（3） 单盲：评论者的身份对作者是隐藏的，但反之亦然。（4） 公开评论：没有隐藏身份。在本文中，我们主要关注双盲同行评议和开放评议。两种制度的倡导者都提出了各种支持他们的论点。一些人认为，双盲导致（a）更少的偏见[Ferber和Teiman，1980年，Budden等人，2008年，Lot Fi和Mahian，2014年，Ga rvalov，2015年，Darling，2014年，Bernard，2018年]和（b）更好的评论者行为[Wendler和Miller，2013年]。其他人对（a）的论点提出质疑[Fis h，1989年，考克斯等人，1993年，阿姆斯特朗，1997年，Engqvist and Frommen，2008年，韦布等人，2008年，Largent and Snodgrass，2016年]，其他人则认为双盲妨碍了审稿人在识别感兴趣的冲突和重复研究中的重要作用[Pitkin，1995年]。同时，关于（b），公开审查的倡导者还声称，这种制度会导致更好的审查行为[Turner，2003，Comer和Schwartz，2014]，并使审查者能够因良好的审查行为获得好评[Chubin等人，1990年，Godlee，2002年，艾森哈特，2002年，Raelin，2008年，Wendler和Miller，2013年]。关于这两种制度的正反两面，也有一种尚处于萌芽阶段但尚不发达的经验主义文献，没有明确的证据支持这种疗法。在这场辩论中，实证研究面临的一个挑战是，期刊和学科可能存在相关差异。例如，在一个其他科学家的研究议程众所周知的小领域，匿名不太可能有效。

另一个挑战是，经验规律没有对基础激励的扎实分析，因为政策损坏的基础不可靠，因为如果激励系统产生变化，规则可能会消失（卢卡斯，197 6）。然而，研究不同同行评议制度的主要动机正是决定是否改变期刊的同行评议政策，从而改变科学家的观念。我们的研究有助于解决在经审查的出版物中模拟潜在激励的问题。关于同行评议制度和出版物市场的非正式辩论总体上表明，有许多激励因素促使作者和评论者朝着不同的方向发展。我们需要系统的建模，以便形式化这些实体的结构，评估它们的动态，并系统地思考它们。这方面的研究很少；有关例外情况，请参见[Taylor and Yildirim，2011]。我们的目标不是提供一个支持双盲或开放式审查的明确论据，而是开发和探索一个博弈论模型，以帮助后续的辩论。期刊也可能对结果视而不见，以减少偏向于统计显著结果[Newcombe，1987年，Glymour和Kawachi，2005年]。然而，见[Rogers，2002]。一个问题是，编辑可以通过其他方式实现这些目标[Peters和Ceci，1982年，Cox等人，1993年]。见肌萎缩侧索硬化症ohttps://retractionwatch.com/.For一项关于双盲与单盲综述的广泛调查，见[Snodgrass，2006]。2方法在本节中，我们描述了我们的模型及其基本游戏。我们的overallaim是一个简单的激励作者和评论者的探索性模型，它允许比较双盲评审和开放评审对鼓励作者工作的影响。我们关注作者的贡献，而不是研究的质量，因为对于如何量化后者或如何将其与作者的决定联系起来，我们没有达成共识，而将前者建模为直接受作者控制的单一参数是合理的。我们对作者和评论人的选择进行建模。简单地说，我们假设编辑总是遵循审稿人的建议，就像他们在现实世界中的绝大多数决策中所做的那样。我们还假设期刊提交的内容由一名审稿人审核。这种假设是不现实的，但它不符合作者主要关心的内容，即评论者接受或拒绝的意见的分类；既然我们的终极利益是作者的责任，这个假设似乎并不妨碍我们的主要目标。我们的模型为作者发表策略生成了进化环境。我们的解释如下：（1）将作者和评论者的特定互动模式化的基本博弈；（2）研究作者和评论者策略在不同环境下如何随时间演化的模型

我们关注作者的贡献，而不是研究的质量，因为对于如何量化后者或如何将其与作者的决定联系起来，我们没有达成共识，而将前者建模为直接受作者控制的单一参数是合理的。我们对作者和评论人的选择进行建模。简单地说，我们假设编辑总是遵循审稿人的建议，就像他们在现实世界中的绝大多数决策中所做的那样。我们还假设期刊提交的内容由一名审稿人审核。这种假设是不现实的，但它不符合作者主要关心的内容，即评论者接受或拒绝的意见的分类；既然我们的终极利益是作者的责任，这个假设似乎并不妨碍我们的主要目标。我们的模型为作者发表策略生成了进化环境。我们的解释如下：（1）将作者和评论者的特定互动模式化的基本博弈；（2）研究作者和评论者策略在不同初始条件（即参数和机构设置）下如何随时间演化的模型。2.1作者-评论者游戏基本游戏是一个两人6×6标准形式的游戏，代表玩家a重新呈现作者和代表评论者的玩家r之间的一次性互动。玩家a的策略集是一组有限的效率水平=（e，…，e），其中ei∈ （0,1）对于每个i∈ (1, ..., 6).玩家r的策略是一组接受阈值T=（T，…，T），其中∈ （0，1）对于每个i=（1，…，6）。这与审稿人在考虑是否应该发表提交的文章时的决定相对应。玩家可以接受pa per（选择动作g）或REJECT（选择动作b）。Playerr的决定取决于玩家a的工作级别和玩家r的接受阈值。

我们通过areviewer的响应函数d定义接受函数。最后，决定接受，决定拒绝。我们现在可以将评审员的接受函数定义为d:E×T→ {g，b}，其中d（ei，ti）=g表示每个（ei，ti）∈ E×T，因此≥ ti；否则（ei，ti）=b。换句话说，如果作者的论文满足或超过了审稿人的要求，重新审稿人接受该论文，如果不满足或超过审稿人的要求，则拒绝该论文。我们对参与者a的激励进行了建模，这样一来，在他们的研究上花费一定的成本和收益。玩家a接受论文的基本报酬为1，而拒绝论文的基本报酬为0。然而，a也会收到额外的报酬，这取决于a的福利水平，而r\'sA正常形式的游戏是一个我们完全指定了可能的策略和特定数量玩家的报酬的游戏。接受门槛。在接受的情况下，a将获得一笔奖金，其中ei>0，代表a的声誉奖金。我们假设这个奖金与a的福利水平成正比。此外，a寻求优化福利投资，从而避免投资超过获得pape认可所需的福利。因此，a得到一个红利α（1）- ei），其中α>0，在每种情况下，如果不需要接受最大效果，则可以发表小于最大可能效果的论文。玩家a的福利非常低，成本与投入的福利成正比：与较低的福利相比，较高的福利与较高的福利成本相关。

球员a的出场成本将定义为βe，其中β>0。通过结合上述所有激励措施，我们可以用支付函数πa:E×T确定a的最终支付→ R、 就是这样 （ei，ti）∈ E×T，πa（ei，ti）=（1+α（1- ei）+ei- 当ei≥ ti；0- 否则的话。（1） 因此，a从接受中获得正效用，由支付函数右上角的实证主义者进行量化，从中得出他们的效用水平，从而得出他们的整体效用结果。在被拒绝的情况下，他们不会得到任何好处，但会从他们的支出中获得同样的负面效用。玩家r接受或退出a论文的基本报酬为1。然而，我们也考虑了r的福利成本。为了将这些成本纳入模型，r的最终支付效果受a的效果和r自身的接受阈值的影响。正如判断一个高个子男子是否超过150厘米比判断该男子大约150厘米所需的工作量要小，玩家r也需要更少的工作量来为明显高于r接受阈值的论文生成报告，而不是更接近r的论文。因此，r从审查易于审查的论文中获得奖励。该奖金定义为δ（ei- ti），其中δ>0。通过结合上述修订的激励措施，我们可以确定r的最终支付函数πr:E×T→ R、 就是这样 （ei，ti）∈ E×T，πr（ei，ti）=（1+δ（ei）- ti）当ei≥ ti；1否则。（2） 因此，参数δ是一个变量，它决定了他们因审查一篇明显超过其接受阈值的论文而节省的工作量对其适用性的影响程度。我们现在考虑制度环境对博弈结构的影响。在公开审查下，社区不仅可以访问toa的ACCE pted工作，还可以访问r对a接受的论文的审查。

在这种情况下，社区可以在评估同行评审过程的质量方面发挥更积极的作用，并向提倡高于平均水平的评审标准的作者和评审者授予声誉奖金。在公开评审中，如果a的论文被r接受，且其接受阈值高于总体平均水平，则a将获得计算奖金，而r的论文表现出高于平均水平，则r将获得良好声誉。对于a，该声誉奖金定义为umax（ti- e、 0），其中u>0且e=π∈（1，…，6）ei。对于r，声誉奖金定义为umax（ei-e、 0）。通过将所有激励因素结合在一起，我们获得了每个参与者在公开审查案例中的最终支付函数： （ei，ti）∈ E×T，π*a（ei，ti）=（1+α（1- ei）+ei- βei+umax（ti-e、 0）如果ei≥ ti；0- 否则的话。(3) （ei，ti）∈ E×T，π*r（ei，ti）=（1+δ（ei）- ti）+umax（ei）-e、 0）如果ei≥ ti；1否则。（4） 从形式上讲，我们的情况与双盲审查案几乎相同。唯一的区别是，我们通过u术语将更大的透明度对作者和评论者的效用的影响结合起来。因此，我们主要感兴趣的话题，即在我们的模型中，双盲和开放审查下的激励差异，在很大程度上被归结为u大于z ero的值是否会在我们基于完全代理的模型中，在这个基础博弈的进化扩展中产生实质性差异。2.2基于代理的模型我们采用模拟方法而非分析方法有两个主要原因。