利用马尔可夫决策过程寻找最佳癌症治疗方案

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Finding Optimal Cancer Treatment using Markov Decision Process to
  Improve Overall Health and Quality of Life》
---
作者：
Navonil Deb, Abhinandan Dalal and Gopal Krishna Basak
---
最新提交年份：
2020
---
分类信息：

一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--
一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Quantitative Biology        数量生物学
二级分类：Quantitative Methods        定量方法
分类描述：All experimental, numerical, statistical and mathematical contributions of value to biology
对生物学价值的所有实验、数值、统计和数学贡献
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Computation        计算
分类描述：Algorithms, Simulation, Visualization
算法、模拟、可视化
--

---
英文摘要：
  Markov Decision Processes and Dynamic Treatment Regimes have grown increasingly popular in the treatment of diseases, including cancer. However, cancer treatment often impacts quality of life drastically, and people often fail to take treatments that are sustainable, affordable and can be adhered to. In this paper, we emphasize the usage of ambient factors like profession, radioactive exposure, food habits on the treatment choice, keeping in mind that the aim is not just to relieve the patient of his disease, but rather to maximize his overall physical, social and mental well being. We delineate a general framework which can directly incorporate a net benefit function from a physician as well as patient\'s utility, and can incorporate the varying probabilities of exposure and survival of patients of varying medical profiles. We also show by simulations that the optimal choice of actions often is sensitive to extraneous factors, like the financial status of a person (as a proxy for the affordability of treatment), and that these actions should be welcome keeping in mind the overall quality of life.
---
PDF下载：
--> Finding_Optimal_Cancer_Treatment_using_Markov_Decision_Process_to_Improve_Overal.pdf (462.23 KB)

2022-4-24 17:07:09 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：癌症治疗 马尔可夫 决策过程 Quantitative Contribution

使用马尔科夫决策过程寻找最佳癌症治疗，以改善整体健康和生活质量Navonil Deb，Abhinandan Dallaland Gopal Krishna Basak1，2统计硕士，最后一年，加尔各答印度统计研究所，印度理论统计和数学部，加尔各答印度统计研究所，印度在包括癌症在内的疾病治疗中，决策过程和动态治疗机制越来越流行。然而，癌症治疗往往会极大地影响生活质量，人们往往无法采取可持续、有效且可以坚持的治疗。在本文中，我们强调在治疗选择中使用环境因素，如职业、放射性暴露、食物，记住目标不仅仅是缓解患者的疾病，而是最大限度地提高其整体身体、社会和心理健康。我们描述了一个通用框架，该框架可以直接纳入医生的净收益功能以及患者的适应性，并可以纳入不同医疗专业患者的不同暴露概率和生存率。我们还通过模拟表明，行动的最佳选择往往对外部因素敏感，比如一个人的财务状况（作为治疗效果的代表），并且考虑到整体生活质量，这些行动应该受到欢迎。1简介癌症是世界范围内的一个主要公共卫生问题，也是美国第二大发病和死亡原因。因为全世界每7人中就有1人死于癌症，死亡人数超过艾滋病、肺结核和疟疾的总和。在大多数发展中的中低收入国家，人们仍然无法获得规范有序的癌症诊断系统。

随着经济转型国家城市化生活方式的采用和饮食习惯的改变，癌症导致死亡的风险预计将增加，因为据预测，到2030年，全球癌症威胁将增加到2070万新癌症病例，随着人口增长和老龄化导致1300万癌症患者死亡，发展中国家将在其中扮演重要角色[46]。国际癌症研究机构（International Agency for Research on Cancer GLOBOCAN project）预测，印度的扫描负担将在未来20年翻一番，从2012年略多于100万的新病例增加到2035年的170多万[32]。癌症诊断是目前医学和生物学研究领域讨论最多的话题之一。现有的癌症治疗方式包括手术、化疗、放疗、免疫治疗、药物治疗或监测等。即使癌症患者通常只接受其中两种或三种治疗方式，以不同的顺序和时间点接受治疗可能会产生不同的结果。不幸的是，与多模式治疗相关的决定往往取决于患者的临床经验，因此，对于主题从业者来说，回答诸如应用这些模式的最佳顺序是什么，或者它们之间的最佳时间间隔应该是什么等问题往往变得困难。也许可以通过适当设计的方法来克服这些挑战，这些方法建议治疗政策，一系列与治疗相关的决策，从而优化患者的整体健康和经济福利。找到这种最佳治疗策略的一种可能方法是通过蛮力从所有可能的路径集合中搜索最佳治疗路径，但找到这种策略可能在计算上很昂贵，而且往往不切实际。

即使是对最佳治疗模式的直观或启发式搜索，有时也可能在计算上不够高效[47]。这一方向的早期方法是由Beil和Wein（2001）[6]和Hathout等人（2016）[20]分别使用普通微分方程和偏微分方程得出的。他们的模型能够在医生通常只接受外科治疗和放射治疗的情况下取得成功。这些挑战代表着巨大的改进机会。在医学领域，已经尝试了几种决策理论方法来诊断各种疾病和癌症。Bennettand Hauser（2013）在癌症治疗的临床决策中使用了一个基于人工智能模拟的框架[7]，后来Maass和Kim[31]提出了一种基于马尔可夫决策过程的多模式治疗癌症的方法。本文的目标是开发一个临床决策模型，该模型与患者的个人病历一起，也考虑了患者的个性化属性，旨在最大限度地提高“回报”的合适度量。在本文中，启发式意义上的患者“回报”或“回报”应用于纳入患者预期寿命的概念，以及患者在治疗后恢复到被诊断为疾病之前的生活方式的能力（从决策理论的角度来看，回报可被视为具有损失函数相反性质的函数）。在这里，我们提出了一个合理选择的实值报酬函数。为了计算的简单性和可处理性，我们的模型假设我们的模型的性质是“马尔可夫”的，即无记忆（一步依赖性，即当前情况下的未来独立于过去）。

第2节将讨论调整到患者日常生活的治疗方案的重要性。在第3节中，我们阐述了模型，并明确陈述了我们的模型假设。在第4节中，我们将重点讨论在协变量数据的帮助下，模型中参数的估计。第5节将侧重于对该模型进行基于模拟的研究，并试图解释结果，并从中得出有意义的推论。第六部分是本文的结论和评论。2针对日常生活的治疗方案我们想强调日常生活因素在癌症治疗中的重要性。随着我们从一个难以捉摸的梦想跃升到一个迫在眉睫的现实[29]，我们不能只局限于药物基因组学和药物遗传学信息[24]，还要局限于其他外生因素，比如生活方式、种族、饮食习惯等，穆努兹等人[37]在委内瑞拉的一项病例对照研究中发现，人类饮食是影响胃癌风险的一个重要因素。事实上，他报告说，随着谷物、淀粉类蔬菜、乳制品和水果消费量的增加，患胃癌的几率可能会增加。即使控制肌酐水平，钠水平也会对胃癌风险产生积极影响，这意味着盐摄入量的增加是一个很强的风险因素。该研究还发现了饮酒与胃癌之间的关系。吸烟和吸烟习惯对一个人患肺癌的几率有很大影响，许多研究如Loeb等人[30]所述。然而，肺癌的风险超出了反应性吸烟习惯。正如Correa等人[12]所述，与重度吸烟者配偶结婚的非吸烟者患肺癌的风险较高。

该研究还提出了关于母亲吸烟习惯及其对孩子影响的问题。患癌症的风险不仅限于个人习惯，还包括环境因素。暴露于污染水平的增加、靠近城市地区和工业中心对居民构成肺癌威胁。Nafstad等人[38]在挪威男性中发现了此类证据，而Nyberg等人[39]在斯德哥尔摩也发现了类似的结果。SOC浓度、SPM水平等因素严重影响肺癌风险。从Jedrychowski等人在波兰的研究[25]到Tseng等人在台湾的研究[51]，这些影响的普遍性确实显示了对肺癌风险的巨大影响。事实上，即使在确诊后，这些环境空气污染水平也会缩短患者的生存机会和生存时间，正如埃克尔等人[16]的一项研究所发现的那样。事实上，癌症的风险影响不仅限于日常活动，而且对种族影响和社会经济地位也产生了一些影响。Bradley等人[8]、Schwartz等人[48]和Le等人[27]等的早期研究支持这类发现。特别是，非裔美国人的发病率与不同种族的平均发病率有显著差异。这种影响已在病例对照研究、区域特异性研究和一般性研究中得到体现，也出现在广泛的癌症类型中，包括但不限于胃、结直肠、肺和乳腺癌。穆努兹等人[37]事实上也研究了受试者的教育水平，并发现受教育程度越高的人暴露的风险越小。所有这些都与人们对该疾病的意识以及降低其发病风险的方法有关。然而，尽管后来的研究对种族影响进行了辩论，如Yang等人的研究。

[57]在大多数研究中，社会经济状况对发病率和生存率的影响都很明显。事实上，受试者的职业等因素也会影响受试者的暴露风险。例如，Peller[42]和Navarro等人[18]发现，矿工患肺癌的几率更高。事实上，这并不局限于某个特定的矿山，而是广泛分布在矿山工人中，如赤铁矿[11]、塔康铁矿[2]、黄金[40]、砷、镍和铬[55]。这种影响不仅限于目前的采矿工人。伍德沃德等人[56]发现，由于氡子体的暴露，镭山铀矿的前矿工体内存在残余效应。研究人员还对接触粉尘的矿工和陶器工人的死亡率进行了研究[10]。社会经济地位和人口统计学变量的影响不仅限于暴露，还包括生存机会。昂贵治疗的有效性一直是globalarena[1]的一大担忧，有很多人试图弥合治疗和治疗之间的差距。这种尝试的例子包括药物的可持续定价[52]、医疗保险[59]和有效行动[28]。Goldstein等人[19]在全球平台上研究了药物的成本效应，发现癌症治疗在美国是最昂贵的，而在印度，它在很大程度上不影响普通大众。Moye等人[35]在墨西哥等中等收入国家研究了这种情况，广泛的结论是，癌症药物在中等收入国家仍然非常不受欢迎，降低了全球生存率。随着世界财富不平等的加剧，健康不平等也在加剧，人们试图量化和衡量这种不平等[3,53]。

Sarah和Curtis[13]还研究了地理位置在健康不平等中的地位，这也将对一个人在治疗中获得的医疗保险产生影响。根据世界卫生组织的观点，患者的整体健康状况不仅表现为没有疾病和疾病，还表现为身体、心理和社会健康状况[41]。因此，除了标准杆数胡癌风险和生存率，我们还需要考虑生活质量的参数在治疗个人。Testa和Simonson[49]对生活质量因素的重要性以及评估和衡量生活质量的方法进行了精彩的讨论。为了我们的目的，考虑一个工作年龄在40岁左右的人，他已经被诊断出患有癌症。如果医生对周围的财务状况有足够的能力，那么医生应该专注于快速恢复健康。治疗费用可能很高，但如果她/他能够在康复后重返工作岗位，那么他/她就有可能恢复开支，过上充实的生活。因此，在选择治疗方案时，应充分考虑患者重返工作岗位的能力，以及在被诊断为癌症之前恢复生活方式的能力。另一方面，考虑退休后的个人退休年龄。在这种情况下，重度治疗和随后的副作用可能会对她/他的健康产生不利（通常是致命的影响）。即使这种治疗不是致命的，也能减轻她/他患癌症的风险，但潜在的陷阱会导致她/他终生卧床不起。医生后来成功地缓解了她/他的癌症，但治疗结果在生活质量量表上表现非常差。

这种量表必须与医生缓解疾病的意图结合使用，以使医疗保健更加有效和充实。近年来，医疗保险中的生活质量参数和癌症生存率越来越受欢迎，例如[9]，我们欢迎这一发展，并强调其在基于奖励的动态治疗制度中的应用。在一些医疗领域，辍学现象十分猖獗，癌症也不例外。抑郁症、缺乏对医生指导的了解、收入和财务障碍等因素导致癌症患者退出治疗。事实上，正如Wells等人[54]所发现的，由于无法理解坚持治疗的概念，人们往往没有意识到他们已经退出了治疗。少数民族和经济困难人群往往处于坚持治疗的最前沿。如[5]所述，容易辍学的人的另一个方面是那些病得太重而无法旅行的人，远程医疗方法将对他们有利。生活质量方法在几种疾病中越来越流行，例如，McRae等人[34]研究了帕金森病患者的这一指数。这种生活质量方法带来的一个重要方面是行为疗法的发展。例如，Monnikes等人[21]证明了行为疗法和药物治疗优于单纯的药物治疗，现在是我们在癌症治疗中尝试这种行为方面的时候了。正如Testa和Simonson[49]所阐述的，这种基于生活质量的治疗需要确保治疗方面的安全性、有效性和便利性，以及患者行为方面的依从性。

结果参数应包括风险降低、获得奖励的健康寿命年数、总体生活质量，以净效益函数的形式汇总。我们将在本文中概述的MDP方法提供了一个现成的位置来使用净收益函数，即奖励函数，以及一个通过最佳行动选择随机优化它的框架。事实上，正如Richard Thaler[50]经常提出的那样，通过使用这种方法来证明对患者整体生活幸福感的影响，可以开发出新的简单但有效的推动方法。随着人们对健康不平等和随之而来的政策影响的日益关注[14]，在不久的将来，探索这一方面将变得必不可少。3模型表述：将癌症建模为马尔可夫决策过程在我们的文献中，我们隐含地假设不同阶段（恶性肿瘤）之间的转变是一个马尔可夫过程，即未来的转变仅取决于肿瘤的当前阶段，而不取决于过去的信息。像[26,23]这样的几位作者已经做出了这样的假设，以提出与这个问题相关的概率决策模型。因此，我们的目标是建立一个假设马尔可夫变换的概率决策模型。在定义符号和问题时，我们采用[45]的约定。马尔可夫过程是一个具有无记忆性质的随机过程，即给定当前信息，随机过程的未来实现不依赖于过去的实现。如果{Xn}∞n=0是随机过程，如果P（Xn）是马尔可夫过程-1=xn-1，··，X=X）>0P（Xn=Xn | Xn-1=xn-1，··，X=X）=P（Xn=Xn | Xn-1=xn-1） （1）简而言之，马尔可夫决策过程（MDP）是一个马尔可夫过程，其中在执行一项操作后给出一定数量的回报（或扣除成本）。