机器预测和人类决策的回报和收益变化

我们计算了三种反事实政策对潜在社会规划者偏好参数βS连续统的福利影响∈ [0,1]asW（δ，βS）=∏（δ，βS）- π（δ，βS）∏- 其中∏=-β-SPi∈IYI是全组患者的第一个最佳综合结果，I意识到当且仅当给细菌感染患者开处方且∏（δ，βS）=Pi时∈Iπ（dij（I），yi；βS）是决策集dij（i）的聚合支付函数∈ δ.图5显示W（δ，βS）超过βS的完全支持，表明最佳政策取决于社会规划者对抗生素耐药性外部性的权重。第三个反事实是基于这样一个约束，即不能减少对细菌感染的处方，这保证了总是能获得积极的回报。如果偏好未知，这一点尤为重要。然而，在已知偏好的情况下，给予医生充分自由裁量权并利用其专业知识的反事实主导了角落解决方案。这是直观的，因为如果社会充分重视外部性，那么即使减少某些细菌感染的处方也值得，以换取减少过度处方。与反事实3相比，反事实1和2获得更高收益的偏好参数正好低于医生估计的平均水平βjof 0.56。因此，如果社会规划师的权重β至少与普通医生的βj一样大，那么为医生提供更好的诊断信息将带来最高的社会效益。图5：社会规划师偏好βs的反事实福利效应∈ [0,1]。7结论我们展示了当人类持有决策相关信息时，如何评估机器学习预测所支持的策略。

通常很难确定这些信息是否是机器学习预测的补充，或者是否可以被机器学习预测取代。如果这些信息或获取这些信息所需的技能难以衡量，且决策者之间存在差异，那么事先评估机器学习预测的附加值是一项挑战。现场试验可能旨在提供可靠的评估，但由于道德、法律或实际原因，往往难以实施。因此，重要的是开发基于模型的工具来评估潜在的实现。有希望的评估可能有助于说服利益相关者，现场试验值得实施。我们考虑的分析，抗生素处方怀疑尿路感染，类似于许多情况下，初级保健提供，但专家决策问题更普遍。虽然我们考虑和利用一些初级护理设置的特质，我们的分析提供了一个更普遍适用的框架，以评估机器学习在数据丰富的环境。我们的分析是否以及如何有助于替代设置取决于对目标结果的衡量，以及在决策者层面上允许无偏见预测的数据可用性。我们提供的证据支持这样一种假设，即结合观察整套结果的能力，可观察到的患者信息足够丰富，可以在我们的环境中识别技能和报酬。不偏不倚不仅会受到预测质量不足的威胁，还会受到决策影响测量结果时潜在选择问题的威胁。在这种情况下，可选择的识别策略，例如基于Kleinberg等人提出的随机分配假设。

（2018）和Chan、Gentzkow和Yu（2020）是除了高质量的机器学习预测之外所必需的。针对抗生素处方的进一步研究仍有几个重要途径。有必要尝试编码更多的临床信息，例如电子健康记录中的信息，例如报告的症状和临床诊断结果，以进一步改进机器学习预测。我们也省略了抗生素描述的一个重要方面，即分子的选择。对细菌种类和分子特异性耐药性的预测在多大程度上可以进一步指导处方选择，这仍然是未来研究的一个悬而未决的问题。需要进一步研究，以更好地了解专家对引入预测工具的潜在行为反应。这些研究的结果可以提供关于如何以最佳方式传达机器学习预测、在多大程度上解释预测结果以及对决策者获取信息和专业知识的激励的潜在影响的见解。虽然我们考虑一个特殊类型的医疗诊断和治疗问题，我们的结果表明使用机器学习预测在许多相关的医疗保健情况下的潜力。数据可用性和预测算法的质量在医疗保健以外的领域都在快速提高。然而，这类技术被更广泛地采用和有效利用的速度将取决于它所能补充的人类专业知识的种类和质量。

如果我们的发现更具启发性，那么人类专家远未被取代。相反，人力资本投资可能是帮助实现改善福利和技术进步承诺的关键之一。附录附录A医生异质性表5医生的决定作为预测因素和临床特征来源： AUC包括线性回归系数治疗决定作为预测因子，每名医生的临床独特患者数量0.007[-0.015,0.028]每名独特患者的实验室结果数量0.007[-0.005,0.018]医生的平均人数-0.002[-0.017,0.014]医生的平均年龄-0.023[-0.074,0.027]女性医生的比例0.007[-0.002,0.015]R0。05注：括号内为异方差稳健95%置信区间。附录B关于患者类型和疾病状态的信号潜伏性疾病i ijjijj图6：感染细菌的示例患者的νi分布和信号ξij和ηij（νi>\'）。附录C患者i和医生j的模拟选择概率模拟程序（以下抑制指数i和j）：1。给定m（x）和y，画出模拟的疾病实现νr~ N（m（x），1 | y=[νr>\'ν]）。和信号ξr~ N（m（x），σξ）ηr~ N（νr，ση）表示医师参数σξ和ση。计算预期收益：EUrd=E{π| d，ξr，ηr}=-αPr{y=1|ξr，ηr}1.- Φν - urσr如果d=0-β如果d=1，其中α和β是医生参数，以及方程式6中所述的ξr、ηr、σξ、ση和ση的urandσ稀有函数。注意，α或β必须归一化。我们设定α=1.3。计算模拟选择概率^P=RRXr=1[EUr>EUr]和^P=RRXr=1[EUr]≥EUr]产生σξ、ση和β的阶跃函数，在最大似然估计中很难在数值上最小化。因此，我们使用平滑参数λ=0.01的Logit SmoothDaccept拒绝模拟器计算选择概率。

我们将实用程序插入逻辑公式：Sr=eEUr/λeEUr/λ+eEUr/λ=1+eλ（1-Φ(ν-urσr）-β） andSr=eEUr/λeEUr/λ+eEUr/λ=1+eλ（Φ（？）-urσr）-1+β).4. 重复步骤1-3 R次，使R取1到R.5的值。我们通过对模拟进行平均得到模拟选择概率：^P=RRXr=1和^P=1-^P=RRXr=1（1）- Sr）=RRXr=1SrAppendix D分析梯度目标函数可以写成（σξj，σηj，βj|ξij，ηij，dij）=Xi∈Ijlog（Lij（dj|j，yj，m（xi））=xi∈Ijdijlog（^Pij1）+（1）-dij）日志（1）-^Pij1）单一数据点的LLH函数导数，为了简单起见，删除索引ij，如下所示：嗯β=迪普^Pβ+1.- d1-^P-^Pβ!=迪普-1.- d1-^P^Pβ=迪普-1.- d1-^PRRXr=1Sr（1- （高级）λ（欧元）- 欧元）β=迪普-1.- d1-^PRRXr=1Sr（1- （高级）λ(Φ-urσr- 1 + β)β=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λ和嗯σξ=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λΦ-urσrσξ=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λφ-urσr，0，1-urσrσξ与-urσrσξ= -σηηNσησξ+ηNσησξ- σησξτ+σηξN- σξN- 2σξτ + σξν - 2σξτ+σξν+ξNσησξ+ ση+ σξ+ 2σξ+ 1和嗯ση=迪普-1.- d1-^PRRXr=1Sr（1- Sr）λφ-urσr，0，1-urσrση与-urσrση=ηNσησξ+ηNση- σησξN- σησξτ + 2σησξν - σησξN- σητ+2σηⅤ+σξⅤ+2σξⅤ+νσηqσξ+1ση+ σξ+ 1附录E参数估计σξ          ση图7：∑ξ和∑η的医师水平估计热图。为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。β          ση图8:b和ση的医师水平估计热图。

为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。β          σξ图9:b和σξ的医师水平估计热图。为了确保匿名，该图显示的热图仅涵盖五名或五名以上医生的区域。附录F∑ξ参数估计的方差图10：医生级估计和∑ξ的自举95%置信区间。为了确保匿名性，使用带宽0.2.0 2 4 6 8 10对∑η进行平滑处理。图11：医生级别的估计和∑η的自举95%置信区间。为了确保匿名性，该图形以0.2.的带宽平滑。。2.4.6.8β的估计值图12：医生级别的估计值和β的自举95%置信区间。为了确保匿名性，该图形以0.2的带宽平滑。附录G∑ξ0 1 2 3 4 5 6 7 8 9 100510152025Pct决策相关性的模拟。随着1的增加而改变的决策图13：由于σξ的变化而模拟的选择变化，以每步sizeone的百分比表示。附录H模型                        图14：减少样本的观察和模拟时刻Pendix I反事实表6反事实政策结果，无偏预测不能被拒绝的医生样本1。提供基于ML的τi2。操纵支付3。

再分布σξj=0βj=min（βj+κ，1）δy！=0总体处方，δ的百分比为-25.5[-26.3，-22.6]-25.5[-26.2，-24.2]-9.92[-11.2，-9.4]Nδ=13484个治疗过的细菌病例，δy的百分比为-13.4[-14.7，-10.5]-20.6[-21.9，-18.7]0[0,0]Nδy=81990，δy百分比-44.2[-45.3，-40.4]-33.0[-34.3，-30.5]-24.9[-28.6，-24.2]Nδy=5285薪酬变化，Wj（δj）百分比19.0 4.4 12.3注：该表报告了160家诊所的现状变化百分比。观察到的绝对数在左栏中报告。在反事实二中，我们设置κ=0.12以获得相同的结果δ与反事实中的一样。参考文献[1]Abaluck、Jason、Leila Agha、Chris Kabrhel、Ali Raja和Arjun Venkatesh（2016），“医疗检测生产率的决定因素：护理强度和分配”，《美国经济评论》，106（12），3730-3764。[2] Agrawal、Ajay、Joshua Gans和Avi Goldfarb（2018），《预测机器：艺术情报的简单经济学》，哈佛商业出版社。[3] Andini、Monica、Emanuele Ciania、Guido de Blasio、Alessio D’Ignazio和Viola Salvestrini（2018），“机器学习的目标：意大利退税计划的应用”，《经济行为与组织杂志》，156，86-102。〔4〕Athey，苏珊（2018），“机器学习对经济学的影响”，在Atdic社会智力经济学中：一个议程。Ajay K. Agrawal，Joshua Gans，和AVI GaldFrb，芝加哥大学出版社。[5] 巴亚蒂、莫森、马克·布拉弗曼、迈克尔·吉拉姆、凯伦·M。

Mack、George Ruiz、Mark S.Smith和Eric Horvitz（2014），“减少心衰再入院率的数据驱动决策：一般方法和案例研究”，公共科学图书馆，9（10），e109264。[6] Bennett，Daniel，车伦鸿和蔡玲·劳德代尔（2015），“台湾的医疗保健竞争和抗生素使用”，工业经济杂志，63（2），371-393。[7] Cassidy，Rachel和Charles F.Manski（2019），“不确定性下的结核病诊断和治疗”，《美国国家科学院院刊》，116（46），22990-22997。[8] CDC（2013年），《美国的抗生素耐药性威胁》，https://www.cdc.gov/drugresistance/threat-report-2013/pdf/ar-threats-2013-508.pdf，于2019年4月2日访问。[9] Chal fin、Aaron、Oren Danieli、Andrew Hillis、Zubin Jelveh、Michael Luca、Jens Ludwig和Sendhil Mullainathan（2016），“机器学习的生产力和人力资本选择”，《美国经济评论》，106（5），124-127。[10] Chan，David C.，Matthew Gentzkow和Chuan Yu（2019），《诊断技能变异的选择：来自放射科医生的证据》，NBER工作文件第26467号。[11] Cowgill，Bo和Megan T.Stevenson（2020），“算法社会工程”，AEA论文与论文集，110。[12] 柯里、珍妮特、林万川和孟娟娟（2014），“解决中国抗生素滥用问题：一项实验性审计研究”，《发展经济学杂志》，110，39-51。[13] Currie，Janet和W.Bentley MacLeod（2017），“诊断专业知识：人力资本、决策和医生绩效”，《劳动经济学杂志》，35（1），1-43。[14] 达文波特、迈克尔、凯瑟琳·E·马赫、琳达·M·戴里基·肖特利夫、尼亚兹·巴纳伊、蔡惠旺和约瑟夫·C。

廖（2017），“尿路感染诊断技术的新发展”，《自然评论泌尿学》，第14（5），296页。[15] 丹麦卫生和药物管理局（2013年），《丹麦医生和其他人抗生素处方指南》，2013年11月，哥本哈根。[16] 丹麦卫生部（2017年），针对抗生素til mennesker的国家处理计划。Tremalbare mal，用于2020年布鲁杰-弗雷姆国防部抗生素研发。[17] Das、Jishnu、Alaka Holla、Aakash Mohpal和Karthik Muralidharan（2016），“医疗服务提供的质量和责任：来自印度初级保健的审计研究证据”，《美国经济评论》，106（12），3765-3799。[18] Flores Mireles，Ana L.，Jennifer N.Walker，Michael Caparon和Scott J.Hultgren（2015），《尿路感染：流行病学，感染机制和治疗选择》，《自然评论微生物学》，13269-284。[19] Foxman，Betsy（2002），“尿路感染的流行病学：发病率、发病率和经济成本”，美国医学杂志，113（1），补充。1, 5-13.[20] Friedman，Jerome H.，Trevor Hastie和Robert Tibshirani（2000），“加性逻辑回归：促进的统计观点（包括作者的讨论和反驳），《统计年鉴》，28（2），337-407。[21]Friedman，Jerome H.（2001），“贪婪函数近似：梯度提升机”，《统计学年鉴》，29（5），1189-1232。[22]哈尔斯沃斯、迈克尔、蒂姆·查德伯恩、安娜·萨利斯、迈克尔·桑德斯、丹尼尔·贝里、菲利克斯·格雷夫斯、劳拉·克莱门茨和莎莉·C。

Davies（2016），“向全科抗生素高处方者提供社会规范反馈：一项实用的全国随机对照试验”，《柳叶刀》，387（10029），1743-1752。[23]黑斯蒂、特雷弗、罗伯特·蒂布什拉尼和杰罗姆·弗里德曼（2009），《统计学习的要素：数据挖掘、推理和预测》，第二版，纽约：斯普林格。[24]黑斯廷斯，J.S.，M.豪森，S.E.英曼（2020），“在给药前预测高风险阿片类药物处方”，《美国国家科学院院刊》，117（4），1917-23。[25]Hess，Stephane，Kenneth E.Train和John W.Polak（2006），“关于使用改进的拉丁超立方体抽样（MLHS）方法估计车辆选择的混合Logit模型，”交通研究B部分：方法学，40（2），147-163。[26]Ho Off rage，Ulrich，Samuel Lindsey，Ralph Hertwig和Gerd Gigerenzer（2000），“传播统计信息”，科学，290（5500），2261-2262。[27]Kang，Jun Seok，Polina Kuznetsova，Michael Luca和Yejin Choi（2013），“哪里不吃？通过使用在线评论预测卫生检查来改善公共政策”，在2013年自然语言处理经验方法会议上发表，1443-1448。[28]Kleinberg、Jon、Jens Ludwig、Sendhil Mullainathan和Ziad Obermeyer（2015），《预测政策问题》，美国经济评论，105（5），491-495。[29]Kleinberg、Jon、Himabindu Lakkaraju、Jure Leskovec、Jens Ludwig和Sendhil Mullainathan（2018），“人类决策和机器预测”，经济学季刊，133（1），237-293。[30]Kwon，Illoong和Daesung Jun（2015），“抗生素使用中的信息披露和同侪效应”，《健康经济学杂志》，第42期，第1-16页。[31]Laxminarayan、Ramanan、Adriano Duse、Chand Wattal、Anita K.M.Zaidi、Heiman F.L.Wertheim、Nithima Sumpradit、Erika Vlieghe、Gabriel Levy Hara、Ian M。