公平报酬问题：成功的幻觉及其解决方法

这种开发的风险和程度如何？使用统计决策会带来内在风险：1型和2型错误，也称为虚报和漏报。要立即让人深刻认识到这一点的严重性和必要性：这是一种不可避免的平衡，即判定无辜者有罪与释放有罪罪犯的风险（和好处）。在每一个案件中，都有一名无辜者受审，法院正在用他们的自由玩俄罗斯轮盘赌。但是，没有这一点，我们就无法作出决定，也无法伸张正义。医生不能告诉病人是否生病。决策者无法决定是否值得采取行动来衡量气候变化。从技术上讲，在假设检验中，可以将1类错误概率（“a”）指定为p值决策阈值：例如，“如果p值<a，则拒绝无效假设”。根据定义，如果“无效果”的无效假设为真，则a是错误发现效果的概率。测试的威力是正确检测效果的概率。因此，统计技术的使用需要有能力和谨慎。然而，对这项技术的应用有着巨大且不断增长的需求，尽管存在并继续发展着非常完备的统计学家和成熟的理论和方法，但使用统计的大多数人和科学家都不是统计学家。大多数统计科学由科学家组成，他们在自己的学科范围内以不同程度的复杂性和严谨性使用统计学。对于学术界以外的统计数据来说，这可能更为真实。遗憾的是，John Ioannidis（2005）得出结论，在现代研究中，大多数已发表的研究结果都是错误的。2012年，安进的研究人员试图复制53篇里程碑式癌症论文的成功案例。

他们只复制了11%（经济学家2013，Begley and Ellis 2012，Baker 2016）。拜耳医疗集团实现了25%的复制/验证（Prinz等人，2011年）。在这种令人震惊的情况下，如果不进行任何研究，我们可能会过得更好。与其被错误地告知，不如无知！然而，这些错误率超过75%——是传统0.05的15倍——远远超出了统计测试固有的水平。这是怎么回事？除了由于大规模使用而导致的基本缺乏严谨性外，现代统计方法和使用也变得更加容易。力量是一种函数，随着效应大小和类型1错误的容忍度的增加而增加，并因更强的噪声而减少。指那些拥有统计学学位的人，那些发展统计学理论和方法的人，等等。由于实践中存在无数缺陷，统计科学正在经历一场全面的“再现性危机”（Nuzzo 2014，Leek and Peng 2015，Baker 2016）。尽管有些人将此次危机归咎于p值，类似于法庭审判（Wheatley和Sornette，错误发现），有时类似于统计上的巫婆狩猎（Wheatley和Sornette，2019）。这方面的一些相关因素包括：-忘记了统计学家，很可能大多数统计科学甚至不是由人类完成的：随着大数据和数据科学的流行，算法扫描高维数据量，以一种基本上不分青红皂白的方式应用一组模型和测试。-多重测试、过度拟合和数据挖掘/窥探的实践放大了错误发现。-正负不对称：关注成功也会影响学术界。

事实上，“我们”强调并公布重要的（积极的）结果，而不完全控制误报，这通常需要荟萃分析，并被未公布的相关负面结果所扭曲，因此不为人知。如今，大数据、人工智能和机器学习被吹捧为大型和不断增长的科学和商业研究中的资源和工具，打击有害的“幸运”虚假发现是一项永无止境的任务。这需要良好的统计数据，以及古德在整个科学过程中的严谨和纪律。我们在讨论6.4中重新讨论了这一点。投资行业提供了一个主要的非学术性例子。事实上，这些问题搅浑了局势，使投资业得以蓬勃发展。例如，投资者选择投资基金是基于他们的表面技能：阿尔法衡量在特定时间段内相对于同行的超额回报。Barras et al.（2010）对无数统计问题进行了解释，与基金和投资者的分析相比，Barras et al.（2010）发现75.4%的人实际上是零阿尔法，选股技能仅足以支付交易成本和费用，24%的人被发现不够熟练，无法支付费用，只有0.6%的人被发现是熟练的。此外，在大量数据上对交易策略进行自动回测和优化，会产生一种技能幻觉。这困扰着定量交易公司，他们总能发现在历史数据上表现优异的错误策略，而在实时部署（样本外）时则令人失望。D提供了一个滑稽的例子。

莱因·韦伯（Leinweber）是一位投资组合经理，他“翻阅了一张联合国CD*ROM，发现历史上对标准普尔500指数的唯一最佳预测是英格兰的黄油产量。”作为一个恶作剧，他发表了这一发现，并声称人们仍然真诚地联系他，试图利用这种神奇的相关性（R.Sullivan，1999）。4、如何玩游戏：进化的希腊操作系统4.1框架虽然静态技能运气谱可能足以用于赌场游戏，甚至运动，但在现实世界中，我们必须考虑更丰富、动态和多维的过程。因此，我们致力于首先开发必要的系统视图，以便能够解决现实世界中的问题。为此，我们考虑一个由进化学习者玩的游戏实例，如图6所示。游戏有一个结构，具有运气（希腊语“sigma”）和技能（希腊语“mu”由M表示）的特点。玩家希望在游戏本身存在风险和不确定性的情况下优化他们的结果。自适应学习包括一个奖励策略反馈回路及其优化。我们在球员身上植入希腊理性标志，以避免将运气误认为是技能。《战略认知2019》），统计研究的生命周期包括各种活动（Leek和Peng，2015），有罪的决定是最后的决定之一。整个过程都要求严格，任何步骤的错误都可能导致错误发现。显然，很少有研究能够合理化他们使用的类型1错误水平——这应该是具体情况，例如，根据与测试相关的意外程度或中断程度进行通知。

这种情况迫使美国统计协会（Wasserstein和Lazar 2016）强调一些适度的最低标准。有许多关于相关良好统计实践的参考文献（例如，茨威格2014年、罗和麦金莱1990年、沙利文等人1999年、贝利等人2015年和怀特2000年）。请注意，技能与运气连续体的概念仅在聚合级别上提供静态信息。它没有考虑到游戏实际上需要由单个玩家玩，也没有解释如何玩这个游戏或如何优化策略。然而，奖励受制于文化习俗/规范（ethos）或最普遍的范式，这些范式是内生的，可以改变。表演和游戏本身可能会随着外部环境条件的变化而变化。可能出现的情况是，基于对给定范例的利用，改进的潜力已经耗尽。在这种情况下，强化的exploratorylearning可以确定一个新的局部范式/优化，以进行优化和利用。这形成了进化学习者的变异部分。4.2环境条件：固定和非固定情况环境条件被定义为外部条件：它们既不能被玩家影响，也不能被玩家预测，但可能会影响游戏。当环境足够稳定，例如游戏是静止的时，可以根据过去的表现（统计归纳推理工作）对过程进行概率、全面和直接的优化描述。当非平稳时，需要一种演绎方法，系统通过使用合理的现实“玩具”模型、场景和启发式进行管理，以及引入冗余和弹性评估。

因此，在这种情况下，必须有选择地使用过去的信息，并使其适应未来的情况，包括新的情况。4.3文化习俗和范例文化习俗被定义为游戏性的内在因素，并影响人们对误入歧途和奖励的适应度。E、 例如，惯例可能会影响用于对健康状况进行抽样和调整策略的频率，无论是在个人层面还是在综合层面上评估健康状况，如果考虑到外部性，则如何在奖励中贴现运气的作用等（Dorner，1997）。这是合理的，因为风险和歧义偏好（例如，对未知事物的探索）、延迟满足和集体主义等特征因个人、人群和时间而异。值得注意的是，心理不确定性越小（例如，由于科学的发展），玩家的目标就越是控制和优化。一些文化范式可能导致更为宿命论的方法。本框架的其他方面和过程将在以下章节中进一步详细介绍。4.4未来导航作为一种自适应系统，我们希望激励熟练的未来导航。导航需要一个操作系统。我们向我们的进化学习者灌输五个组成过程：“观察、决定，可以从具体、个别、历史案例中得出一般结论。图6：进化学习者玩的游戏和实例，如4.1至4.5所述。执行、挑战和探索”。对每一种观点都有大量的学术研究。

在下文中，我们将根据Tetlock和Gardner（2015）和Kahneman（2011）的工作以及其中的参考文献，讨论最相关的见解。观察：大致解读技能、运气和环境变化的作用。在非平稳博弈中，同时存在任意性和认知不确定性，对过程和结果之间关系的良好观察是关键。一致性很重要，这意味着必须中和不相关的刺激。这可以通过用客观的外部信息或基准来补充和挑战一个个人的世界模型来实现——从这个模型中可以浓缩主观的内部观点。在这个过程中，人们必须用经验法则来挑战观察结果的内部化——简单的“封底”计算可以进行理智检查或“嗅觉测试”。决定：在探索备选方案的过程中，争取独立和不同的观点。这里的关键原则是从群体效应的智慧中获益（Surowiecki，2004年）——在确定复杂问题的解决方案时，不同的独立观点证明是有价值的。它本质上是大数定律和中心极限定理。在有互动个体的群体中，无法假设群体的基本智慧，需要通过辩证法和组织机制进行调解。事实上，群体动态可以强烈影响决策质量。因此，在探索性解决问题的过程中，共识不应该是目标，而应该是有害群体思维的警告标志。事实上，在猪湾惨败期间，肯尼迪政府陷入了这种模式，失去了独立的批判性思维（Janis，1972；Tuchman，1984）。

从这次失败中吸取教训，我们做出了巨大的改变，从而更好地解决了古巴导弹危机。执行：为共同目标团结一致，同时允许当地主动适应。一旦决定了误入歧途，下一步就是执行。拿破仑赢得了比汉尼拔、亚历山大大帝和凯撒加起来还要多的战役，他非常快地掌握了调整计划的技巧：“因此，我经历了一般的观点，远远超过了明确的计划。大量的共同利益，我认为是很多人的好处，这些是我所依赖的锚，但我主要是在这些锚周围随意漂浮。”19世纪普鲁士著名军事战略家冯·莫特克（VonMoltke）说：“在战斗中，任何计划都无法与敌人保持联系”。迈克·泰森得出了类似的结论：“每个人都有一个计划，直到他们被击中为止”。德国军事史上的Auftragstaktik原则很有启发性：“战争不能从象牙塔中进行”——战术决策应该在当地做出，允许做出快速适应的决策。但当地策略必须与全球战略保持一致，全球战略必须由高层下达的明确目标导向的命令加以监管，将主动权留给当地决策者。”这就是需要做的”，“出于以下原因”，“我不在乎怎么做”。挑战：不断监控，无情地审视成功和失败。在动态环境中执行的任何战略都必须不断调整，通过观察和决策——根据观察检查期望，分析差异，引导“走向未来”是菲利普·特洛克等人30多年来的研究课题（特洛克和加德纳，2015）。

1984年，他们开始组织预测比赛，以确定专家判断和预测的显著特征，并将运气与预测技能区分开来，有时会涉及数千名志愿预测员。这些项目有两个目标：提供一个研究预测的现实实验室；并利用人群的智慧来优化“预测机器”。任意的不确定性是你不知道的，但至少在理论上是可以知道的——就像一个工程师打开一台神秘的机器来找出它的工作原理。认知不确定性是不可知的（相对于给定模型），最简单的形式是将信号与噪声分离。一个经常被忽视的简单技巧是使用独立的基准利率：例如，研究初创企业的投资机会，风险资本家应该从对可比公司生存率的独立评估开始，并在获得具体内幕信息后更新之前的信息。Tetlock等人认为，应该优化知识和观点的多样性。他们称之为“蜻蜓视图”（蜻蜓可能拥有最先进的色觉，因为有大量的光敏视蛋白）。应仔细比较和剖析各种观点。而且，人们应该避免固守那些言辞果断的人的观点（Kahneman，2011）。调查结束后，怀疑主义成为新的口号。专家们受到挑战，新的顾问也加入进来。肯尼迪通常会离开房间，让大家更自由地讨论。古巴导弹危机得到了成功的处理。纳波利安·波拿巴（Napoleéon Bonaparte），洛伦兹·德·布拉迪（Lorenzi de Bradi）为其传记《纳波利安的弥撒》（Les misères de Napoléon）作的介绍，塔兰迪耶（Tallandier）版（1934）。调整模型（Seligman等人，2013年、2016年）。

通过进行事后失败和伪造成功的挑战，使系统适应。就像在执行中一样，这里也需要在审查（勘探）和继续（开发）之间保持简单的平衡。有时，最好的干预是故意什么都不做，遵循希波克拉底的“不伤害原则”，首先不伤害他人。轻触式方法有助于避免分析瘫痪。E、 与美国对伊拉克和利比亚的过度控制形成鲜明对比的是，奥斯曼帝国和英国帝国在其巅峰时期都知道允许自治，并推动许多共存社区之间的权力平衡（Hellerstein，2016）。通过观察、决定、执行和挑战，我们具备了智能自适应机器的必要成分。在下一部分中，我们通过添加关键的学习维度：探索来显著提高智力。4.5探索：进化学习者对突破性变异持开放态度。随着变化（平稳、突然和周期性）成为规则，任何进化系统都需要继续重新优化，以避免停滞和衰退。为了避免局部最优，我们需要探索，超越被践踏的道路，并发挥作用。Stanley和Lehman（2015）解释说，只有在没有任何目标的情况下追求好奇心，才能释放真正的创造力。也许他们会同意，追求真理、知识和繁荣是有益的。更根本的是，已经贯穿全文的是超越的探索-剥削悖论，或者更确切地说是权衡。这可能是智能决策中进化程度最高（“训练有素”）的方面。