机器预测和人类决策的回报和收益变化

这些结果说明了在结构模型中分离预测和决策步骤的有效性。试图根据社会目标激励行为的干预措施的效果可以独立于旨在改善诊断信息的干预措施来考虑。我们还考虑了第三个反事实，这不是基于结构模型。它与前两项政策不同，因为它忽略了医生的激励和替代，而不是诊断技能的补充。我们评估的政策考虑了一个角落案例，不需要了解物理学家的支付函数。为了实现这一目标，它将处方从低风险患者分发到高风险患者，固定治疗细菌感染的数量。这样的政策有效地取代了物理决策，以确定机器学习预测最准确的风险范围。评估政策机器学习预测的大部分现有工作都采用了类似的方法（巴亚蒂等人2014年；查林等人2016年；克莱因伯格等人2018年；叶林等人2019年；里伯斯和乌尔里希2019年、黑斯廷斯、豪森和英曼2020年）。这项反事实的政策将处方减少了10.0%（1633张处方），而无需治疗较少的非细菌感染患者，并将过度处方减少了25.2%（1607张处方）。通过计算所有偏好参数的收益，我们发现最佳政策取决于社会规划者对抗生素耐药性外部性的权重。第三个反事实保证所有权重的总收益为正。

然而，在平均估计的医生水平偏好权重及以上，给予医生充分的自由裁量权并利用其技能的反事实产生了对外部性的有效高权重的最大收益。我们从几个方面对现有文献做出了贡献。首先，我们确定了一个高风险的决策问题，在这个问题中，将机器学习算法的信号与人类的专业知识相结合可以在决策中发挥重要作用。现有文献考虑了各种设置，机器学习可以提供有用的预测。然而，由于道德、法律或实际原因，评估该领域的预测工具往往很困难。因此，为了考虑在实践中使用机器学习，考虑到决策者没有进行干预的信息，评估可能的干预措施显得尤为有用。现有文献已经停止了对异类技能和偏好的测量，这些技能和偏好驱动着机器学习预测旨在改进的决策。Kang等人（2013）表明，在线评论可以帮助预测餐厅的卫生状况，以便进行卫生检查，但不能将这些预测与当局决定检查哪些餐厅进行比较。安迪尼等人（2018）预测意大利的退税计划的目标消费反应，但只考虑基于机器学习预测的ADECECISE规则。一些现有的研究考虑医疗保健应用，但没有结合人类专业知识的机器学习预测的评价。黑斯廷斯、豪森和英曼（2019年）预测了阿片类药物处方的风险，并根据预测对决策施加限制。叶林等人。

（2019）预测分子特异性抗生素耐药概率，前提是知道存在哪些细菌，并通过重新分配分子，同时保持规定分子的分布固定，提高处方效率。Ribers和Ullrich（2019）考虑了重新分配抗生素处方的政策，这些处方来自预测感染细菌风险从低到高的患者。他们发现，通过部分推翻医生的决定，改善是可能的。然而，在许多情况下，医生拥有机器学习预测无法提供的诊断信息。Kleinberg等人（2018年）通过使用机器学习评估法官保释决定的潜在改进做出了重要贡献，在这种情况下，只能观察到被释放的被告犯下的罪行。他们的框架要求假设法官的风险预测技能是同质的，法官宽大处理中反映的偏好是判决变化的来源。Currie和MacLeod（2017）考虑到技能的异质性，但假设同质偏好来评估将剖腹产从低风险妊娠重新分配到高风险妊娠的反事实。虽然他们关注提高手术和决策技能的效果，但我们关注数据驱动预测的潜力，以补充医生技能。重要的是，我们考虑了技能和偏好的异质性。当异质偏好可能是决策的重要驱动因素时，这种灵活性对于将机器学习预测风险与医生专业知识相结合至关重要。最后，大量文献探讨了解决抗生素耐药性增加问题的政策。我们为基于预测的需求侧政策的潜在效果提供了证据，旨在抑制抗生素耐药性，从而为这项工作做出了贡献。

尿路感染是第二常见的细菌感染，占人类抗生素消耗量的大部分。考虑政策干预的文献包括Laxminarayan等人（2013年）关于处方监督和管理计划，Bennett、Hung和Lauderdale（2015年）关于台湾全科医生竞赛，Currie、Lin和Meng（2014年），Das等人（2016年）关于中国和印度医生的财务激励，Kwon和Jun（2015年）关于韩国同行效应，And Hallsworth等人（2016年）通过提醒英国的高处方医生注意他们的状态，来传播社会规范。虽然这项研究确定了减少抗生素处方的各种方法，但潜在治疗不足的成本往往难以衡量。如果不改进诊断信息，许多政策可能会导致意外后果和成本。区分诊断信息和偏好对于设计和评估有效的政策措施至关重要。我们提供了一个框架来明确这一区别。论文的其余部分组织如下。第2节介绍了机构背景和数据。第3节显示了机器学习预测结果，第4节检查了处方决策中的异质性。第5节发展了当技能和偏好不同时医生处方选择的结构模型，讨论了识别和估计，以及估计结果。第6节介绍了反事实政策评估，第7节得出结论。2丹麦行政数据和实验室检测结果我们使用丹麦行政登记数据，该数据涵盖了大量信息，包括患者和患者家庭成员的详细社会经济数据，以及抗生素处方史、全科医疗保险索赔和住院记录。

值得注意的是，一致使用独特的个人识别码使我们能够合并登记，并将个人与从两家主要丹麦医院获得的实验室检测结果联系起来。2.1丹麦医疗体系丹麦有一个普遍的、由税收资助的单一付款人医疗体系，全科医生是主要的看门人。每个居住在丹麦的人都会通过一个列表系统分配到一个全科医生，该列表系统位于家庭住址周围固定的地理半径范围内。患者可以以很小的成本将医生从最初的任务中调离，但大多数患者会选择指定的总医师。虽然初级保健诊所作为私营企业运营，但所有服务费用由全国全科医生联盟和公共医疗保险公司共同协商。重要的是，医生不会通过向必须从当地药店购买处方的患者开药来赚取收入。2012年，丹麦有2200家初级保健诊所，每个诊所的平均规模略高于一名全科医生（MollerPederson、Sahl Andersen和Sondergaard 2012）。在整篇论文中，我们将交替使用医师和临床，因为我们的大多数医疗交易数据都是在临床层面观察的。在丹麦，全科医生负责处方大约75%的人类消耗的全身性抗生素（丹麦卫生部2017）。2.2基于临床微生物实验室检测结果的分析样本个人水平临床微生物实验室检测结果构成我们分析的中心数据集。特别是，它包含了我们想要预测的结果，一个二元结果表明，当从咨询普通内科医师的患者身上采集尿液样本时，细菌被分离出来。

我们从Herlev hospitaland Hvidovre hospital获得了临床微生物学实验室检测结果，这两家医院位于丹麦首都地区，在2010年1月至2012年12月期间覆盖了约170万居民的集水区，几乎占丹麦人口的三分之一。当在患者样本中检测到细菌时，实验室数据提供了细菌种类和相关抗生素耐药性。此外，还提供了患者和临床鉴定人以及有关生物样本类型、测试采集日期、实验室样本到达日期和测试响应日期的信息。在此期间，共观察到2579617份微生物样本，来自全科医生诊所和医院。尿液样本包括477609份样本，其中156694份是由普通医生提交的，这是我们申请的重点。在三分之一的尿液样本中分离出细菌，包括整体样本和全科医生提交的样本。我们进一步限制观察的数量，以便将重点放在患者治疗期间与医生首次接触的咨询上。因此，我们排除了患者接受全身抗生素处方或之前在样本采集日期前28天内接受测试的试验观察。最后，我们还将孕妇排除在我们的分析之外，因为检测决定（包括怀孕期间的许多强制性检测）以及处方决定无法与典型的非急诊患者进行比较。用于机器学习的测试观察集由74511个尿样测试结果组成，这些尿样是在688个初级保健诊所的非急诊环境中与男性或非孕妇进行初次咨询时采集的。

对于这一组，几乎所有的测试程序都持续了两天或两天以上，在此期间，全科医生必须在不确定的情况下做出决定。由于我们知道尿样采集的准确时间和检测响应日期，我们可以准确地确定医生是否在知道或不知道检测结果的情况下开抗生素。通过将重点放在医生提交尿液样本进行微生物实验室检测的咨询上，我们确保所有患者都能观察到检测结果，而不管医生的处方决定如何。因此，我们避免了Kleinberg等人（2018年）所解决的选择性标签问题，这是评估机器学习应用中的反事实时的一个常见挑战，并提出了在实验室测试条件下，机器学习对治疗决策预测风险的作用。这种方法的缺点是，我们的结果在不包括患者微生物检测的处方情况下缺乏普遍性。然而，当护理诊断不确定时，细菌性UTI的实验室检测是常见的，并在临床实践中指出（Davenport等人，2017年）。当医生决定进行检测时，诊断信息的价值可能很高，因此本文提出的基于预测的政策可以改善医生在重大不确定性下做出决策的情况。2.3丹麦国家登记处丹麦统计局提供的行政数据涵盖了2002年1月1日至2012年12月31日期间丹麦的全部人口。我们的实验室数据中的所有个人的登记都可以链接。

对于每一种情况，我们观察一组全面的社会经济和人口统计学变量、全身抗生素的完整处方史（Laegemiddeldatabasen）、住院（Landspatientregisteret）和全科医生保险索赔（Sygesikringsregisteret）。人口统计数据包括性别、年龄、教育程度、职业、收入、婚姻和家庭状况、居住地、移民身份和出生地，最后包括家庭成员身份，这使我们能够识别患者的家庭成员，并添加他们的人口统计数据、实验室数据和来自以下登记处的数据。有关全身性抗生素处方的数据包含3500多万张购买处方。我们观察购买日期、患者和处方初级保健诊所标识、解剖治疗化学药物分类、药物名称、价格、使用指征、购买的包装尺寸和规定的每日剂量。需要注意的是，使用指征并不准确，因为许多处方都有UTI指征，但UTI处方也有更通用的指征，例如抗感染，或根本没有指征。住院数据包括所有与医院接触的患者，包括门诊就诊。这些数据包括自2002年以来每年超过200万独特个体的住院观察，包括住院入院和出院日期、执行的程序、住院类型（门诊、急诊等）、主要和次要诊断以及总床位天数等信息。最后，保险索赔数据涵盖了向丹麦患者群体提供的所有丹麦全科诊所服务。

索赔数据包括每年约1亿起索赔，包括医生和患者身份、一周的咨询和使用的服务。除其他外，索赔数据允许我们从强制性妊娠相关检查中确定我们排除在分析之外的孕妇。实验室数据和管理登记的组合产生了时间t时患者i的1215个预测变量的向量xit。预测变量可分为以下类别：患者特征和测试时间、患者过去的处方、患者过去的实验室测试结果、患者过去的住院情况、患者过去的一般实践保险索赔、，住户成员过去的处方、住户成员过去的实验室检测结果、住户成员过去的住院情况、住户成员过去的住院情况以及住户成员过去的一般医疗保险索赔。原则上，医生在会诊时可以观察到与测试采集时间相关的所有历史数据。3机器学习预测我们使用Ribers和Ullrich（2020）的预测结果，他们训练了Friedman、Hastie、Tibshirani（2000）和Friedman（2001）提出的极端梯度增强算法，根据实验室测试中包含的信息和丰富的个体患者数据，预测患者是否患有细菌性UTI。从2011年1月到2012年12月，我们每月创建24个样本评估分区，并使用相应测试分区之前的所有数据作为培训数据。

在总结预测结果和随后的实证分析时，我们额外减少了少于100次测试观察的诊所，以提供足够的统计能力。由此产生的样本有42480个观察结果，分布在194个初级保健诊所。          图1：与细菌测试结果机器预测相关的实验室测试结果。球体代表100多名受试者的平均值，按预测风险排序。我们在图1中说明了二元结果y的机器学习预测m（x）的质量，表明了微生物测试结果的结果，图1绘制了平均测试结果与平均样本外预测风险的对比图。每个球体代表一个包含100名患者的箱子，患者被分配到按其预测风险排序的箱子中。使用xgboost中针对R实施的极端梯度增强算法得出的结果非常接近。风险分布中的45度线表明，该算法平均可以正确预测细菌风险。衡量二元结果预测质量的一个常用指标是样本外观察的受试者工作曲线（AUC）下的面积。我们对阳性细菌检测结果的预测函数AUC等于0.728。相比之下，Kleinberg等人（2018年）报告，在预测被告未能出庭受审方面，可比AUC为0.707。4异质性在处方决策检查潜在异质性在医生的决定，我们首先考虑预测价值的医生决定实验室检查结果，包括处方选择在一套预测。图2显示了两种预测模型之间AUC的临床特异性差异。