对抗抗生素耐药性：机器学习能否改善

我们在图2的左面板上说明了我们算法的预测质量，该面板绘制了平均测试结果与每月评估分区联合集合中所有测试观测的平均算法预测风险。每个球体代表一个包含100名患者的箱子，其中患者被分配到按其预测风险排序的箱子。结果接近于（a）相对于细菌测试结果的机器预测的实验室测试结果。每个sphererepresent平均超过100名受试患者，根据患者预测的细菌性UTI风险进行分类。（b） 接收器工作曲线绘制了不同分类阈值下真实阳性率和假阳性率之间的权衡。曲线下的面积等于0.731。图2：样本外随机森林算法的预测质量。整个风险分布的45度线，表明该算法平均可以正确预测细菌风险。在评估分区中风险最高的100名患者中，86%在与医生初步会诊后，细菌检测呈阳性。同样，100名风险最低的患者的细菌性尿路感染率为6%。随机森林预测在整个风险范围内表现良好是改善物理学家决策的首要必要条件。通过将随机森林预测与分类阈值进行比较，可以实现二元预测。典型的机器学习应用程序将分类阈值设置为pickmajority投票，即分类阈值为0.5。然而，根据最终应用，其他分类阈值可能是合适的。正如机器学习应用程序中的标准，我们在样本外评估观察值上绘制接收器工作曲线（ROC），如图2（b）所示。

当分类阈值在0到1之间变化时，接收器的真阳性率与假阳性率的工作曲线图。接收机工作曲线越接近左上角，预测质量越好。因此，衡量总体预测准确性的一个常用指标是ROC下的面积，即AUC。我们的细菌UTI预测函数的AUC等于0.731。Kleinberg等人（2018年）报告，犯罪风险背景下的可比AUC为0.707。了解哪些变量是最重要的预测因子是有指导意义的。附录A中的图9显示了每个变量的特征重要性，计算为变量值排列时预测误差的减少。特征重要性等于或低于零的变量被认为对预测质量没有影响。为了说明，我们收集了组内变量，包括（i）患者特征和咨询日期；（ii）患者过去的处方；（iii）患者过去的耐药性测试结果；（iv）过去住院的患者；（v） 患者既往一般医疗保险索赔；（vi）家庭成员过去的处方；（vii）住户成员过去的电阻测试结果；（viii）家庭成员过去的住院情况。最显著的结果是，患者过去的检测结果似乎不是重要特征。过去的测试结果和过去观察到的抗生素治疗之间的强相关性很可能解释了这一点，而特征重要性度量无法捕捉到这一点。3.2医生处方取决于预测风险图3的左面板绘制了医生在获得算法预测风险测试结果之前的处方率。同样，球体表示包含100名患者的箱子的平均值，这些箱子按算法的预测风险排序。

医生似乎平均正确地评估了低风险患者，因为处方率和预测风险在低风险范围内似乎有很好的相关性。然而，随着预测风险的增加，医生的处方率会下降，因此，医生和随机森林算法似乎对高风险患者持不同意见，医生似乎很难识别这些患者。重要的是要注意，尽管医生平均以平均细菌率开处方，但他们并不总是为细菌性UTI患者开处方，事实上，这与此相去甚远。为了更清楚地看到这一点，我们评估了以医生处方为条件的测试结果Versus算法预测，如图3（b）所示。重要的是要注意，患者预测不会以处方决定为条件重新计算，而只是重新排序，即协变量中不包括医生即时处方选择。可以观察到一些重要的见解。根据机器治疗的风险水平，医生平均能够向患者开出更频繁显示细菌检测结果的处方。这可能是由于医生的专业知识和诊断的不可观察性，（a）机器预测与试验结果之间的关系，在接受试验结果之前，以抗生素治疗为条件。

标记物代表100名患者按预测风险排序的平均overbins。（b） 细菌率和预测风险的平均偏差，取决于处方选择。标记表示3个箱子的平均值，以保持匿名性。图3：细菌检测结果、处方和不可观察的结果。后者包括内部诊断测试，如亚硝酸盐浸渍棒或显微镜检查。这一发现促使基于预测的政策应包括医生对某一范围预测风险的专业知识，而不是仅仅依赖算法决策。图3（b）还显示，医生为大量预测风险非常低的患者（左下角三角形）开抗生素。在接受外部分区处方的患者中，预测风险最低的100名患者平均有13%的病例的细菌检测结果呈阳性。我们将过量处方定义为细菌检测结果为阴性的患者的任何处方，并观察到过量处方平均减少亚硝酸盐试纸可以检测到将硝酸盐转化为亚硝酸盐的细菌。在保留的数据中，可检测到的通用大肠杆菌、肠杆菌、克雷伯菌、柠檬酸杆菌和变形杆菌。未检出的属有葡萄球菌、假单胞菌、肠球菌、不动杆菌和链球菌。通过在实验室测试中分离出的可检测和不可检测的细菌物种分别检查处方选择，我们可以调查医生是否选择亚硝酸盐试纸测试结果。虽然油尺可检测细菌患者的处方率较高，为64%，而非油尺可检测细菌患者的处方率为55%，但差异适中。

这表明油尺测试结果存在显著的不确定性，这与医学文献中的证据一致（Devilléet al.2004）。被视为机器预测的风险增加。其次，医生并没有为大量预测风险非常高的患者开处方，即右上角的患者。100名没有收到处方的无风险患者84%的细菌检测结果呈阳性。我们确定医生决定不给实际患有细菌感染的患者开处方，并观察到，随着机器预测风险的降低，平均处方不足减少。3.3医师异质性我们发现医师专业知识和（不可观察的）诊断方法的使用存在异质性。图4显示了医生层面上真实细菌结果与预测风险条件下治疗决策之间的平均偏差分布。这一指标可以解释为图3（b）中绘制的预测风险条件下的特定于医生的细菌率之间的距离。为了保持匿名性，每个bin代表至少三个医生诊所。负值可能是因为医生没有根据风险很好地区分细菌感染和非细菌感染。具有正值的医生能够在“topof”机器上预测风险，将细菌性感染和非细菌性感染区分开来。平均而言，平均偏差为正值，如图3（b）和图4所示。为了了解与该指标的潜在相关性，我们将其与一组临床特征联系起来，我们对451个诊所中的265个进行了观察。

附录B中的表4显示了临床特征平均偏差的线性回归系数。诊所中每位医生的患者人数与医生根据不可观察结果识别细菌感染的能力呈正相关。对这一观察结果的一种解释是，患者接触频率较高的医生更善于识别细菌感染的原因。另一种解释是，大型诊所可能有更好的诊所内设备，以便在会诊期间收集当天的诊断结果。这两种解释都表明了physiciantechnologies用于风险预测的异质性。另一方面，医生年龄与细菌感染的识别能力呈负相关，而诊所的医生人数和每位患者的实验室检查次数与细菌感染的识别能力呈正相关。虽然我们无法对本分析中估计的参数进行因果解释，但相关性表明，各诊所在使用诊断技术方面存在差异，主要基于诊所规模、医生年龄和使用实验室诊断的倾向。图4：细菌率和预测风险的平均偏差分布取决于处方选择。为了匿名，最小bin大小设置为3。4基于预测的处方政策预测细菌检测结果的能力本身并不一定有价值。我们需要评估机器学习预测的相关标准是，它们是否可以用来构建提高医生处方质量的政策规则。为此，我们对患者在潜在更长治疗期的初始咨询中实施的基于预测的处方规则进行了反事实分析。

我们将注意力限制在医生提交尿样进行实验室检测的观察上。在机器学习应用中评估反事实时，一个常见的挑战是选择性标签问题。通过关注包括微生物检测在内的咨询样本，无论医生的处方决定如何，都可以观察所有患者的检测结果。这意味着我们不需要面对选择性标签问题，可以直接评估抗生素处方规则，允许我们基于机器预测构建和评估再分配规则。在Kleinberg et al.（2018）的保释决定背景下，选择性标签问题表现为只有被释放的被告才有犯罪记录。如果法官根据不可观察的情况评估风险，并做出相应的释放决定，那么被监禁者的犯罪风险无法与被释放者的犯罪风险相比较，即使是有条件的不可观察者。因此，必须谨慎评估基于发布的任何反事实发布规则。解决这个问题的一种方法是评估一种特殊形式的政策，即释放规则，即监禁由一名法官释放但由另一名法官监禁的类似被告。这种方法的两个必要假设是，将被告随机分配给法官，以及法官对释放决定采取不同的宽大处理。方法是，我们不能声称我们的结果对不包括患者微生物检测的处方情况具有普遍性。然而，受试病例数量巨大，约占所有初始UTI咨询的15%。此外，当医生决定进行测试时，诊断信息的价值可能很高，因此本文提出的基于预测的政策可以改善医生在不确定情况下做出决策的情况。

在实践中，政策制定者推动更广泛地使用实验室测试来选择抗生素处方，以便在未来的研究和政策实施中减少选择问题是可行的。4.1政策规则我们以两种方式限制所考虑的政策规则集。首先，我们只考虑三种行动：延迟开药直到测试结果可用，在收到测试结果之前立即开药，以及不干扰医生的处方决定。其次，行动仅在预测风险的算法上执行。这意味着我们不允许政策规则直接区分医生或患者的特征；仅通过实现算法PredictedDisk间接实现。我们这样做是为了避免这样的情况，即患者在咨询一位医生时，会通过算法获得处方，而不是咨询另一位医生。观察到的处方和结果数据为我们将考虑的一组特定政策提供了信息。具体而言，在第3.2节中，我们发现过度处方最常发生在预测风险较低的情况下，并随着风险的增加而平均减少。同样，我们发现，最常出现的处方不足具有较高的预测风险，并且随着预测风险的降低而减少。从这些观察结果中，我们推断，基于预测的政策应该将低预测风险患者的处方推迟到测试结果可用，在观察高预测风险患者的测试结果之前分配处方，并且在算法预测信息最少的中等范围内不干扰医生的处方决策。

因此，我们将考虑以下形式的机器学习策略：ρm（x）；ρJ，kL，kH=如果m（x）<kL，ρJif kL，则为0≤ m（x）≤ kH，1如果kH<m（x），（1），其中x是实验室测试样本采集时患者解释变量的向量，m（·）是随机森林预测函数，ρJis是医生的处方选择，（kL，kH）是待确定的政策参数。此类政策规则延迟了患者的处方。如果患者的细菌风险预测低于kH，则kLand会为细菌风险预测高于kH的患者分配即时处方。克兰-哈雷之间存在细菌风险的患者不受政策影响。4.2政策目标我们假设决策者在第一次咨询时将处方决策p视为患者的疾病成本a（从推迟开处方到有检测结果为止）与开处方的社会成本b（即促进抗生素耐药性）之间的差额。虽然每个抗生素处方都会产生社会成本，但开抗生素并不一定会降低疾病成本。只有当患者受到细菌感染时，抗生素才有疗效。患有与非细菌原因相关的UTI症状的患者不受抗生素治疗的影响，无论其疾病成本如何，都会得到缓解。因此，我们通过π（p；y）=-ay（1- yp）- bp，（2）其中y是测试结果的实现，即患者的UTI是否由细菌引起的指标。我们假设0<b<a，这样，当确定感染为细菌时，处方总是最佳的。初次咨询时未观察到试验结果。

然而，政策制定者可以通过计算方程式（1）中基于预测的政策与医生处方选择之间的结果差异来评估后视镜中的处方质量：π（kL，kH）=Ex，y，ρJπρm（x）；ρJ，kL，kH, y- π（ρJ，y）= aEx，y，ρJyρm（x）；ρJ，kL，kH- ρJ布蒂- bEx，ρJρm（x）；ρJ，kL，kH- ρJρ、 （3）考虑到各种非细菌性疾病的疾病成本差异，并不影响模型结果。我们的目的是比较抗生素处方政策，因为抗生素的使用只会影响细菌性尿路感染患者的健康结果，所以患有其他疾病的患者不会受到治疗的影响，在最终分析中，他们的疾病成本会下降。我们的应用并不严格要求b<a，只要求0<a和0<b。但是，如果a<b，在观察试验结果之前开处方从来都不是最理想的，这使得整个运动是多余的，并且没有反映在我们的数据或丹麦抗生素处方指南中（丹麦卫生和药物管理局2013）。其中，在观察期内，期望值超过x、y和ρJover的实现值。基于预测的政策的影响可分为两个方面：额外正确治疗的细菌性UTI患者的益处，但是，抗生素使用数量的变化，ρ.显然，如果预测政策增加了接受细菌感染治疗的人数，但是I>0，同时减少抗生素处方数量，ρ<0，决策者对a和b值的影响较小。