利用马尔可夫决策过程寻找最佳癌症治疗方案

函数πkijis的通常95%渐近置信带由πkij（x）±zn，0.025sπkij（x）（1）- πkij（x））n不同协变量的协变量敏感性图如下所示。对于一个特殊的协变量，即患者的年龄，我们考虑一系列可能的值，并且对于每个值，我们模拟来自同一训练分布的其他协变量，并且将时间处理动作的比例（即动作2）作为动作矩阵的一些（t，i）ththof（1）中的最优动作声明。≤ T≤ N、 一,≤ 我≤ J） 也就是说，对于具有特定协变量的患者来说，治疗行动在时间t是最佳的，并且可以从癌症的第I阶段得到缓解。图1：图1和图2所示的A4,1vs协变量值下治疗行动的敏感性，当患者处于癌症的1期或2期时，如果患者年龄较小，则建议最佳行动作为更频繁的治疗行动。但图3和图4表明，如果患者正在从3期癌症中康复，那么对于老年患者来说，最佳的治疗措施往往是治疗措施。这种作用比例的行为表明，对于癌症不太严重的阶段，用放疗、化疗等强有力的药物治疗老年患者并非最佳选择。但当患者从第3阶段开始缓解时，最佳的治疗措施确实是治疗措施，这意味着对恶性肿瘤的严重程度进行某种报复。对于其他协变量，即血压，在癌症的不同阶段，治疗行动在协变量值范围内的敏感性有些相似。也就是说，如果考虑中的患者血压过高，那么在任何情况下，我们的方法都不太可能建议治疗措施为最佳措施。

图1、图2、图3和图4显示了行动矩阵中某些条目的治疗行动对血压的敏感性，并且在图2的范围内，所有条目都有下降的模式：A3,2vs协变量值下治疗行动的敏感性图3：A2,3vs协变量值下治疗行动的敏感性血压。我们希望观察患者的财务状况如何影响我们的方法建议的最佳行动。患者的社会经济地位越高，他就越能承担昂贵的治疗行动，因此他从癌症中康复的机会也就越高。在这种情况下，最佳行动政策应牢记患者的健康状况以及社会经济地位。我们对两个不同收入（θ）组的200名患者进行模拟，每组100名患者的收入和其他协变量在相应范围内变化。对每位患者计算最佳行动矩阵，随后我们注意到行动2（即治疗行动）被宣布为最佳的次数比例。很明显，收入水平之间的差异越大，建议对收入较高的人采取治疗措施的频率就越高。在图5中，深绿色线表示收入为80000卢比的人的行动2随时间的比例。绿线严格位于蓝线之上，蓝线表示收入为10000卢比的a在一段时间内行动2的演变。仅在3期癌症中，蓝线与绿线相交一点（5<t<6），并在绿线上方。这种行为可以被解释为收入较低的人所表现出的接近地平线尽头的最终复苏效应。

也就是说，他在接近地平线尽头时的目标应该是最大化他与健康相关的奖励价值（当收入因其指数衰减特性而贡献的奖励非常低时），即使收入较低。这种现象很好地符合我们的直觉，如图4所示：不同收入群体在5,3vs协变量估计（N=8）癌症阶段的治疗行动敏感性。10000卢比80000卢比1期2期3期1期2期31 0.00 0.00 0.00 0.06 0.18 0.062 0.00 0.00 0.00 0.07 0.22 0.193 0.01 0.00 0.00 0.00 0.03 0.04 0.09 0.12 0.32 0.425 0.06 0.09 0.43 0.17 0.36 0.476 0.09 0.12 0.72 0.18 0.38 0.487 0.01 0.00 0.00 0.00 0.00 0.09 0.29 0.352（作用表1:ESOF）癌症治疗不同阶段和不同时间点的作用比例对于收入群体，分别为1万卢比和8万卢比。从患者的健康经济角度来看，这是一种昂贵的治疗方式。此外，仔细观察表1，人们可能会注意到表中有相当多的零。由于该表列出了建议的昂贵治疗次数的比例，这表明当费用较高且社会化医疗不盛行时，我们最好建议更便宜的治疗，以便将个人的总体生活质量保持在最佳水平。我们模拟研究的另一个有趣的观察结果是，随着财务状况之间的差异减小，绿线和蓝线开始相互靠近。换句话说，如果两个收入水平之间的差异较小，那么行动2的比例差异也会减小。此外，对于这里考虑的每一个病例，当患者从3期癌症中康复时，行动2的比例更高。

因此，我们的模型显然对癌症患者的社会经济地位以及癌症的严重程度敏感。文中给出了用于协变量模拟、最优治疗策略搜索和图绘制的R码idedhttps://github.com/navonil1729/MDP-and-QOL-in-Cancer-Treatment.6讨论癌症是一种主要的全球危害。癌症诊断是一个被研究者广泛探索的领域，涉及生物科学、统计科学、计算机科学等多学科领域。在这篇文献中，我们温和而真诚地试图指出日常生活因素如何在癌症治疗中发挥巨大作用，我们还制定了一个统计模型，该模型涵盖了所有这些因素和图5：收入组患者的治疗行动与观察时间的比例分别为10000卢比和80000卢比（N=8）收入组患者的癌症分期。20000卢比70000卢比第1阶段第2阶段第3阶段第1阶段第2阶段第31 0.00 0.00 0.00 0.04 0.09 0.102 0.03 0.00 0.01 0.04 0.11 0.153 0.04 0.06 0.07 0.06 0.16 0.364 0.07 0.12 0.38 0.09 0.21 0.535 0.15 0.61 0.11 0.22 0.70.74 0.14 0.26 0.587 0.04 0.05 0.01 0.16 0.472（表2：不同治疗阶段和不同治疗时间点的作用比例）对于收入群体，分别为20000卢比和70000卢比的人试图提出最佳治疗措施。我们在本文中的贡献是协调动态治疗方案的框架和对生活质量因素的重视。治疗的可靠性和有效性等因素，以及治疗费用和随后给予的健康天数，可以纳入我们所阐明的马尔可夫决策过程的奖励函数中。此外，通过商定的奖励功能选择，剩下的程序完全自动化。

因此，该框架提供了一种客观的方法来治疗患者，同时牢记他们的整个生活质量标准。在我们的模拟部分中，我们使用患者的财务状况作为在没有保险或医疗保险计划的情况下药物可接受性的代表。更富有的人通常会更注重健康，因此有更多的康复机会。我们已经将其纳入了我们的模拟部分，以获得更现实的结果。基于奖励函数的选择，我们的最佳行动会在随后的结果中发生变化，这表明我们的框架确实成功地将这些影响纳入其中。由于专业原因导致的暴露易感性已在放射性暴露的指标协变量中记录。类似地，采矿和制陶经验、粉尘暴露、污染水平也可以纳入转移概率的训练模型，因此可以从图6中进行有效估计：不同收入组患者的治疗行动与观察时间的比例分别为Rs.20000和Rs.70000（N=8）癌症分期。30000卢比第1阶段第2阶段第3阶段第1阶段第2阶段第31 0.00 0.01 0.00 0.02 0.08 0.032 0.00 0.03 0.04 0.09 0.123 0.01 0.09 0.28 0.05 0.20 0.384 0.05 0.17 0.53 0.07 0.27 0.555 0.10 0.23 0.73 0.10 0.30 0.656 0.11 0.22 0.79 0.11 0.33 0.687 0.01 0.08 0.33 0.05 0.20 0.472作用表3：不同治疗阶段和不同治疗时间点的癌症的作用比例（ESOF治疗作用点和阶段）对于收入群体，数据分别为3万卢比和5万卢比，并直接用于预测用药。我们已经展示了在其他因素的影响下，选择最佳治疗方案的次数比例。这一比例受收入水平的影响敏感而强劲。

这是敏感的，因为行动计划在不同的收入水平之间有所不同，但也很稳健，因为随着收入水平的接近，最佳行动计划也会变得相似。因此，轻微的扰动不会显著改变动作效果。在这方面，进一步的探索范围包括废除马尔可夫体系。如果我们将一个人的潜在状态划分为不同的阶层，马尔科夫假设是好的，但这增加了问题的维度，使其成为潜在的棘手问题。一个明显的解决方法是在更多的时间段中使用更长的时间依赖结构。一个有用的概括可能是使用马尔代夫，将一个人累积的病史建模为一系列过滤，并使用合适的优化技术来获得最佳结果。在行为方面，随着人们越来越重视生活质量因素，它对奖励功能的影响变得明显。另一个问题是时间的同质性。为了简单起见，我们假设随机过程是时间齐次的，但框架不需要这样做。事实上，纳入时间依赖性结构的一种简单方法图7：收入组患者的治疗行动与观察时间的比例在收入组中的癌症分期时间（N=8）分别为3万卢比和5万卢比。40000卢比45000卢比1期2期3期1期2期31 0.01 0.02 0.01 0.03 0.03 0.022 0.05 0.09 0.11 0.05 0.07 0.163 0.08 0.18 0.36 0.07 0.15 0.464 0.13 0.25 0.54 0.10 0.18 0.645 0.16 0.30 0.69 0.10 0.10 0.20 0.696 0.18 0.31 0.72 0.10 0.20 0.20 0.20 0.747 0.09 0.17 0.45 0.08 0.15 0.552（作用表4:ESOF）不同治疗阶段和不同治疗时间点的作用比例对于收入群体而言，分别为4万卢比和4万卢比。

分别为45000的概率使得比例优势累积逻辑模型中的协变量的β系数也依赖于时间。由于时间同质性的假设，这可以轻松有效地消除任何潜在问题。事实上，该模型可以扩展到一个连续时间框架，其中患者到达医生处是一个随机过程，医生的决定是根据这种概率进行调整的。然而，这些方法将要求医生了解患者疾病过程的时代，因为这将影响医生的最佳行动方案。这种发展，结合行为技术，可以在未来导致合适的轻推技术和行为治疗，这可以明显改善奖励功能，从而提高患者的整体生活质量。根据我们的框架，目前的最佳治疗方案在很大程度上取决于正向函数的选择。必须最佳选择奖励函数，将影响个人整体福祉的所有因素纳入其中。在制定奖励函数时，医生的目标和患者的目标必须结合在一起，对这两个因素都有适当的权重，以避免中途退出、指令不可理解和，以及财务和社会经济图8：收入组患者的治疗行动与观察时间的比例分别为4万卢比和4.5万卢比，这是康复障碍。参考文献[1]阿杰·阿加瓦尔和理查德·沙利文。英国癌症治疗的有效性——是时候引入用户收费了吗？癌症政策杂志，2（2）：31-392014。[2] 伊丽莎白·M·艾伦、布鲁斯·H·亚历山大、理查德·F·麦理浩、希瑟·H·纳尔逊、古鲁穆蒂·拉马钱德兰和杰弗里·H·曼德尔。

明尼苏达州塔孔尼采矿业工人的癌症发病率。《流行病学年鉴》，25（11）：811-815，2015年。[3] R安德鲁·艾利森和詹姆斯·E·福斯特。使用定性数据衡量健康不平等。《健康经济学杂志》，23（3）：505-5242004。[4] Cande V Ananth和David G Kleinbaum。顺序反应的回归模型：方法和应用综述。《国际流行病学杂志》，26（6）：1323-13331997年。[5] Allison J Applebaum、Wendy G Lichtenthal、Hayley A Pessin、Julia N Radomski、N Simay G–okbayrak、Aviva M Katz、Barry Rosenfeld和William Breitbart。晚期癌症患者以意义为中心的团体心理治疗的随机对照试验中与磨蚀相关的因素。《心理肿瘤学》，21（11）：1195-12042012。[6] 达米安·R·贝尔和劳伦斯·M·韦恩。多模式癌症治疗的分析和比较。《数学医学与生物学》，18（4）：343-3762001。[7] Casey C Bennett和Kris Hauser。模拟临床决策的人工智能框架：马尔可夫决策过程方法。《医学中的艺术情报》，57（1）：2013年9月至19日。[8] 凯西·J·布拉德利、查尔斯·W·吉文和凯莉·罗伯茨。种族、社会经济地位和乳腺癌的治疗和生存。国家癌症研究所杂志，94（7）：490-4962002。[9] 丹布罗克。医疗保健和医学伦理中的生活质量衡量标准。《生活质量》，第95-1321993页。[10] 陈景琼、约瑟夫·K·麦克劳林、张君悦、BJ Stone、罗嘉默、陈雷、穆斯塔法多塞梅西、苏珊娜·H·雷辛、吴志恩和弗兰克·J·赫尔。接触粉尘的中国制陶工人的死亡率。职业医学杂志：工业医学协会的官方出版物，34（3）：311–316，1992年。[11] 陈曦、RB Hayes、梁先生、李克强、爸爸Stewart和A Blair。中国血红素工人的死亡经验。

职业与环境医学，47（3）：175–181，1990年。[12] 佩拉约·科雷亚、伊丽莎白·方瑟姆、琳达·威廉姆斯·皮克、林友平和威廉·海泽尔。被动吸烟与肺癌。《柳叶刀》，322（8350）：595-5971983。[13] 莎拉·柯蒂斯和伊恩·里斯·琼斯。在对健康不平等的分析中，地理因素是否有一席之地？《健康与疾病社会学》，20（5）：645–672，1998年。[14] 安格斯·迪顿。健康和财富梯度的政策影响。卫生部，21（2）：13-302002。[15] 芭芭拉·德斯勒和迈克尔·卢伯特。急性髓系白血病：流行病学和病因学。《癌症：美国癌症学会跨学科国际期刊》，107（9）：2099–2107，2006年。[16] 桑德拉·P·埃克尔、迈尔斯·考伯恩、余香舒、邓惠宇、弗雷德里克·W·勒曼、刘丽华和弗兰克·D·吉利兰。空气污染影响肺癌的生存。Thorax，71（10）：891-8981016。[17] ARI Erkan和Zeki Yildiz。有序逻辑回归中的平行线假设和分析方法。国际跨学科科学研究杂志，2014年1月。[18] 帕布罗·费尔南德斯·纳瓦罗、贾维尔·加西亚·佩雷斯、丽贝卡·拉米斯、埃琳娜·博尔多和冈萨洛·欧佩兹·阿本特。接近采矿业和癌症死亡率。《总体环境科学》，435:66–732012。[19] Daniel A Goldstein、Jonathon Clark、屠一凡、张洁、方芬奇、Robert Goldstein、所罗门·姆斯特默和Eli Rosenbaum。与全球财富差异相关的癌症专利药物成本的全球比较。Oncotarget，8（42）：715482017。[20] Leith Hathout、Benjamin Ellingson和Whitney Pope。模拟胶质母细胞瘤放射治疗中手术切除范围的有效性。癌症科学，107（8）：1110-11161016。[21]英格伯格·海曼·蒙尼克斯、鲁道夫·阿诺德、艾梅拉·弗洛林、克里斯托夫·赫达、西格·梅尔弗森和休伯特·蒙尼克斯。

在肠易激综合征的治疗中，药物治疗加多组分行为疗法与单纯药物治疗相结合是可行的。《美国胃肠病学杂志》，95（4）：981-9942000。[22]Frederick F Holmes和Hearne Erwin III.癌症阶段与年龄的关系：对老年人癌症筛查的影响。美国老年医学会杂志，29（2）：55-571981。[23]法哈德·伊玛尼、邱子航和惠阳。乳腺癌干预和治疗策略多阶段优化的马尔可夫决策过程建模。2020年，第42届IEEE医学与生物工程学会（EMBC）国际年会，第5394-5397页。IEEE，2020年。[24]Kewal K Jain。个性化医疗。《分子治疗学最新观点》，4（6）：5482002。[25]维斯劳·杰德里乔夫斯基、海科·贝彻、于尔根·瓦伦多夫和泽诺娜·巴萨·西尔皮亚莱克。一项肺癌病例对照研究，特别是波兰空气污染的影响。流行病学与社区卫生杂志，44（2）：114-1201990。[26]金敏生、阿奇斯·盖特和马克·H·菲利普斯。放射治疗计划中剂量分数时间调节的马尔可夫决策过程方法。《医学与生物学物理学》，54（14）：44552009。[27]Hoa Le、Argyrios Ziogas、Steven M Lipkin和Jason A Zell。社会经济地位和治疗差异对结直肠癌生存率的影响。癌症流行病学和预防生物标志物，17（8）：1950-1962，2008。[28]阿什利·A·水蛭、彼得·J·诺依曼、约书亚·T·科恩、玛丹·贾加西亚和斯塔西·B·杜塞齐纳。平衡价值与效果：美国癌症治疗的细胞免疫疗法。肿瘤学家，25（7）：E11172020。[29]LJ Lesko。