机器预测和人类决策的回报和收益变化

医生级别的平均值和标准差由医生级别的观察次数加权。为了调查这一点，我们将医生分为两组，高于和低于中间水平的医生平均细菌率。表1报告了这两组阳性检测结果中医生水平的细菌种类份额的描述性统计，其中我们通过观察次数来衡量医生水平的平均值和标准偏差。细菌的大小和结构相似性的微小差异表明，医生没有根据护理点测试的信息信号系统地选择要测试的患者。同样，医生对特定患者或人群中抗生素耐药性的普遍程度可能会有所不同。这些知识也可能影响使用实验室诊断的决定。表1显示，低产量和高产量医生之间的耐药率差异很小。几乎所有细菌和抗生素分子之间的平衡提供了证据，表明我们无法观察到的护理点信息并不是选择接受实验室检测的患者的强大驱动力。5.2估计我们使用随机森林预测M（xi）中涵盖的处方决定、dit、疾病实现、yit和患者类型τi的观察数据，通过模拟最大似然估计模型。我们对αj=1进行标准化，因为只确定了βj/αji的比率。单次观察的模拟概率贡献遵循lij（dij | j，yi，m（xi））=公共关系g（ξij，ηij |βj，σξj，σηij）>0 | j，yi，m（xi）如果dij=1Prg（ξij，ηij |βj，σξj，σηij）<0，| j，yi，m（xi）如果dij=0。（11） 式中，Θ={βj，σξj，σηj}和ξij和ηij是在观测到的yi的条件下，利用方程（2）、（3）和（4）中的分布假设进行模拟的。

附录C解释了方程式11中模拟概率的程序。将Ijas定义为一组咨询physican j的患者，结果的联合风险dj={dij}i∈j（dj | j，yj，m（xj））=Yi∈IjLij（dij|Θj，yi，m（xi））。（12） 其中yj={yi}i∈ij和m（xj）={m（xi）}i∈Ij。医师技能和偏好现在可以从^Θj=arg minΘjXi恢复医师j∈Ijlog Lij（dij|Θj，yi，m（xi））。（13） 对每一位医生的^Θj进行估计，可以恢复非参数的医生异质分布。为了估计参数，我们使用Hess、Train和Polak（2006）提出的1000个修改的拉丁超立方体采样图，以及附录D中提供的具有分析梯度的拟牛顿法，最大化模拟似然。使用Nelder-Mead方法或模拟退火，一种全局优化算法，产生几乎相同的结果。5.3估计结果表2报告了^Θj的均值和标准偏差。患者类型（σξj）和临床诊断信息（σηj）的噪声参数均值较大，分别为6.38和2.18。有趣的是，平均σξjis明显大于σηj，这意味着医生更多地依赖于临床诊断信息，而不是从观察患者类型中获得的信息。这一结果表明，以机器学习预测风险的形式提供患者类型信息，可以提高医务人员预测感染细菌原因的能力。患者类型和临床诊断信息在决策中的使用程度在不同的诊所之间存在显著差异，反映在σξjan和σηj估计值的标准偏差中。偏好参数估计值的平均值为0.56，以0<βj<αj的假设为界，以0和1为界，表明平均保守。

平均医师衡量了因一张抗生素处方而增加抗生素耐药性的社会成本，该处方略高于治愈一名患者的健康效益的一半。0.13的标准偏差反映了医生在解决这种权衡效应方面的实质性异质性。表2：参数估计值的分布（SD）型信号噪声σξj6。38（3.59）诊断信号噪声，σηj2。18（1.40）Payoff函数参数，βj0。56（0.13）注：本表报告了194个医师诊所参数估计分布的平均值和标准偏差。该模型针对每个诊所分别进行估算。附录E中的图7至图9显示了参数估计的分布。为了匿名，我们显示了热图，不报告少于五家诊所所在区域的数值。临床诊断技能参数σηjis的分布集中在1到3之间的区域。噪声参数σξj测量医生利用患者类型信息的程度，在1和7之间更分散。σηJ浓度越高，表明即使存在显著的异质性，大多数医生也会利用临床诊断信息。σξjon平均值的大量估计表明，提供机器学习预测可以显著改善医生信息。特别是，我们发现相关数量的医生具有非常大的σξ估计值。在图7中，估计σξj>6的医生占所有医生的40%。该组似乎没有使用患者类型信息编码的不可观测数据。因此，将预测m（xi）中的系统信息与这些医生使用的有价值的临床诊断信息相结合，可能会显著改善决策。图8和图9没有显示估计的支付权重和bothnoise参数之间的系统关系。

附录F中的图10至图12显示了医生级参数估计的95%置信区间，通过医生级的自举计算得出。通过对估计值进行排序，我们发现技能参数估计值的方差随着估计值的大小而增加。σηj的估计值在较低的值和从下到下的整个过程中具有严格的置信区间。在附录G图13所示的模拟中，我们展示了相关参数范围，即随着σξ的增大，参数的变化对医生决策的影响非常小。这也解释了置信区间的下界比上界更严格地遵循参数估计的观察结果。Payoff函数参数估计的置信区间在整个范围内是一致的。我们还调查了模型对数据的拟合程度。附录H中的图14显示了观察到的平均、过量和不足处方率的分布及其基于参数估计的模拟对策。模拟的分布与观测数据非常相似。5.4观察到的异质性为了调查初级保健诊所异质性的潜在来源，我们将参数估计值与观察到的临床特征相关联。我们将个别医生的特征汇总到初级保健诊所层面，因为处方是针对诊所的。由于数据限制，我们能够合并194家诊所中117家的特征。线性回归表3中临床特征参数估计的结果显示了几种有趣的模式。对于医生在观测值Xi，αSigz j中编码的信息的使用中的噪声估计，协变量席的所有区间都覆盖零。

通过对系数的检查，女性医生的患病率较低，且更倾向于要求对尿液样本进行实验室诊断，这可能反映了治疗尿路感染患者的更广泛经验。拥有更多医生的初级保健诊所与较低的噪声估计值相关。临床诊断信息的噪声参数^σηj与诊所要求每位患者进行的实验室检查数量呈负相关。这种相关性的置信区间不包括零。测试强度较高的诊所在决定进行额外的临床测试或更好地从测试诊断中提取信息方面可能具有更高的技能。临床诊断信息中的噪音与诊所医生的平均年龄呈正相关，根据可确定的3个参数估计值和医生特征，线性回归型信号噪声临床信号噪声偏好SN=117^σξj^σηj^βj每位医生的患者数为0.02[-1.67,1.72]-0.28[-0.66,0.11]0.02[-0.05,0.09]每位患者的实验室测试数为-0.67[-1.90,0.55]-0.52[-0.94，-0.11]-0.02[-0.06,0.03]平均医生人数为-0.44,0.98[-1.07][-0.31,0.45]-0.03[-0.08,0.03]医生的平均年龄-0.03[-4.09,4.02]2.30[0.50,4.10]0.09[-0.08,0.27]女性医生的比例-0.15[-1.03,0.72]-0.001[-0.31,0.31]0.003[-0.03,0.04]R0。02 0.12 0.03注：本表给出了三个线性回归的系数，其中结果为表2中总结的医师选择模型的三个参数估计值，相关系数为临床层面的医师特征。平均值用于多医生诊所。括号中报告了异方差稳健95%置信区间。间隔不包括零。有几种说法支持这种相关性。

例如，老年物理学家可能更依赖于他们的临床经验和对复发患者的个人知识，而不是昂贵的诊断测试。或者，他们可能不太可能购买新的诊断设备，也不太可能依赖他们习惯的现有工具。偏好参数估计值βj的结果更难解释，因为只有权重βjan和αjis之间的比率是确定的。平均而言，年龄较大的医生所在的诊所似乎对抗生素抗药性外部性的权重大于减轻患者疾病成本的权重，而这一比例与每位患者的实验室检查次数以及作为医生人数衡量的临床规模呈负相关。6反事实政策评估我们通过比较诱导决策结果δ与观察医生处方δ来评估反事实政策。总体处方变化定义如下：δ、 过度处方的变化，即给没有细菌感染的患者开的抗生素处方，如δy和正确治疗的细菌性UTI患者数量的变化δy.表4显示了三种反事实干预的政策结果。对于我们不能否认机器学习预测是无偏的临床子集，我们在附录I的表6中报告了几乎相同的结果。对于这些人来说，选择不可观测数据进行测试的可能性最小。表4反事实政策结果1。提供基于ML的τi2。操纵支付3。

再分布σξj=0βj=min（βj+κ，1）δy！=0总体处方，δ百分比-25.4[-26.1，-23.1]-25.4[-26.4，-24.5]-10.0[-11.4，-9.5]Nδ=16334例治疗细菌病例，δy的百分比为-13.1[-14.6，-10.6]-20.4[-22.2，-18.7]0[0,0]Nδy=9957过度处方，δy的百分比-44.5[-45.3，-41.3]-33.1[-35.0，-31.4]-25.2[-28.8，-24.6]Nδy=6377报酬的变化，Wj（δj）的百分比20.15.8 12.1注：此表报告了194家诊所的现状变化百分比。观察到的绝对数在左栏中报告。在反事实二中，我们设置κ=0.12以获得相同的结果δ与反事实中的一样。为医生提供每名患者的τI型机器学习预测，并通过设置σξj=0假设医生在无噪声的情况下使用它。在这种反事实的情况下，临床诊断技能和Payoff函数参数是固定的。我们发现，总体处方减少了25.4%（4140张处方），过度处方减少了44.5%（2839张处方）。有趣的是，经过治疗的细菌感染数量也减少了13.1%（1302种处方）。因此，关于患者类型的改进和更精确的信息显示出医生的平均保守程度。在初级保健中抗生素处方的情况下，过度处方是首要问题，因为抗生素治疗的效果无法逆转，而延迟处方的决定可以在获得完整的检测结果后尽快纠正。在反事实二中，我们操纵医生的支付功能，但保持医生关于患者类型和临床诊断的技能不变。

特别是，我们将Payoff参数betaj增加一个常数κ，这样，处方的总体减少相当于通过向医生提供机器学习预测而实现的反事实减少。更准确地说，我们将反事实支付参数定义为βj=min（βj+κ，1），其中设置κ=0.12可使处方的总体减少25.4%。这种干预可以被解释为一种推动或抗生素税，它改变了增加抗生素耐药性的社会成本和个别患者放弃抗生素治疗的疾病成本的相对权重。尽管处方的总体减少量与反事实的减少量相同，但与第一次反事实的44.5%相比，过度处方的减少量显著减少了33.1%（2110张处方）。值得注意的是，在不改善诊断信息的情况下操纵支付功能权重会导致不良影响，如治疗细菌感染大幅减少20.4%（2207张处方）。这些结果说明了在结构模型中分离预测和决策步骤的有效性。试图根据社会目标激励行为的干预措施的效果可以独立于旨在纯粹改善诊断信息的干预措施来考虑。这与Cowgill和Stevenson（2020）研究的情况形成对比，在这种情况下，算法输出不仅用于传达预测，还用于传达社会目标。他们认为，这种操纵可能导致人类专家拒绝使用预测。

我们考虑的框架允许干预，其中两个目标，提供机器学习预测专家和激励社会行为，可以实施和评估作为补充。在反事实三中，我们评估了一个处方规则，该规则与之前评估机器学习预测的文献中使用的程序相对应（Bayati等人2014年；Chal fin等人2016年；Kleinberg等人2018年；Ribers和Ullrich 2019年；Yelin等人2019年；Hastings、Howison和Inman 2020年）。该规则基于这样一种假设，即人类的自由裁量权可以被推翻，或者决策者完全遵守基于预测的处方规则。在这项政策中，对预测风险较低的患者的处方会推迟到检测结果出来。所有具有高预测风险的患者在检测结果到达之前都会收到处方。由于Payoff函数参数βjis在这一系列文献中通常是未知的，因此可以方便地将重点放在一个角落解决方案上，该解决方案可以最大限度地减少抗生素的使用，同时强制执行δy=0。这保证了所有人的社会规划者的福利都会增加∈ [0, 1]. 这项反事实政策将总体处方减少了10.0%（1634张处方），将过度处方减少了25.2%（1607张处方），而根据结构，细菌感染的处方数量变化为零。

我们注意到，与反事实的结果相比，医生将机器学习预测提供的患者类型信息合并在一起，结果存在显著差异。表4还报告了方程式（7）中每种政策的医生薪酬的平均变化，定义为∏j（δj）=Δj（δj）- πj（δj）∏j- 其中∏j=-^βjPi∈当且仅当医生给细菌感染患者开处方且∏j（δj）=Pi时，ijyi是实现的第一个最佳结果∈Ijπ（dij，yi；^βj）是医生对dij决策集的贡献∈ δj.对于提供患者类型信息的反事实政策，支付收益最大，而对于操纵抗生素耐药性外部性支付权重的政策，支付收益最小。这一结果是意料之中的，因为增加处方成本的权重类似于减税效用。限制医生自由裁量权的再分配政策带来的收益介于两者之间。基于反事实策略1和2的结果为机器学习预测带来的潜在收益提供了更现实的事前评估，因为它们不依赖于医生完全遵守基于预测的决策规则的假设。完全取代人类决策者通常是不可取或不现实的，因此很难根据这样的假设从结果中得出结论。支付收益的差异反映出再分配政策的实施可能会与医生和患者的偏好相冲突。最后，从社会规划师的角度出发，我们评估福利效应，以提供一系列反事实政策，不仅基于报告的结果计数，还基于支付效应带来的社会偏好收益。