风险感知的多臂Bandit问题及其在投资组合中的应用

对于每个试验，波动率项σ是均匀的，并且是从（a）中的区间[0.02，0.025]和（d）中的区间[0.03，0.035]随机生成的。λ = 0.9.从图2d-2f的间隔[0.03，0.035]中选择值。具体而言，图2d-2f演示了这种模拟，其中图2d显示了几何布朗运动路径，图2e显示了UCB1的次优性，图2f显示了200次试验结束时的累积财富。与ANRSO合作。royalsocietypublishing。组织R.Soc。打开sci。0000000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .初始财富为1且λ=0.9，风险意识投资组合的累积财富为1.5412，组合投资组合为1.4409，UCB1为1.4294，等权投资组合为1.4132，最终为1.3298-贪婪的从上面的讨论可以看出，λ的值对我们的顺序投资组合选择算法的性能至关重要，应该根据市场条件来确定。特别是，Way等人[47]讨论了实现高回报的专业化和对冲风险的多样化之间的权衡，并同样表明这种选择取决于基本参数和初始条件。4、讨论与结论在本文中，我们研究了多武装土匪问题作为不确定条件下序列决策的数学模型。我们特别关注其在金融市场中的应用，并构建了一个顺序投资组合选择算法。我们首先应用图形理论，从市场中选择外围资产进行投资。然后在每次试验中，我们将最优多武装匪徒策略与一致风险度量的最小化相结合。通过调整参数，我们能够在最大化回报和最小化风险之间实现平衡。

我们采用Black-Scholes模型反复模拟股票路径，并观察算法的性能。我们的结论是，当市场稳定时，结果与我们的预测非常吻合。此外，当市场波动时，风险意识对于实现高绩效变得更加重要。因此，应根据市场情况选择参数。对于未来的研究，可以考虑组合两个投资组合时参数λ的最佳选择。还可以考虑基于马尔可夫决策过程的投资组合选择策略，马尔可夫决策过程是多武装匪徒对多个国家的推广。此外，人们可能会更加关注混乱的市场环境，在这种环境中，股票路径会受到各种因素的影响，而不是简单地遵循随机过程。例如，Junior&Mart[48]利用随机矩阵理论和传递熵证明新闻文章可能影响市场。最后，可以考虑交易成本和市场流动性。例如，Reiter等人[49]阐述了生物拍卖场景中报酬和成本之间的权衡，并可能为研究人员提供一些重要的见解。数据可用性根据合理要求，可从相应的作者处获得当前研究期间生成和/或分析的数据集。AcknowlementsX。H、 感谢国家科学基金会和达特茅斯学院的财政支持。F、 F.感谢达特茅斯学院启动基金、Walter&ConstanceBurke研究启动奖、NIH的资助号C16A12652（A10712）和DARPA本科生号D17PC00002-002。作者贡献X。H、 F.F.构思项目，X.H.进行分析和模拟，X.H.和F.F.分析结果，X.H.撰写正文初稿。

所有作者都审阅了手稿。其他信息作者声明没有竞争性财务利益。RSO。royalsocietypublishing。组织R.Soc。打开sci。0000000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .参考文献1。Markowitz H.投资组合选择。《金融杂志》。1952年3月1日；7(1):77-91.http://www.jstor.org/stable/2975974?seq=1#page_scan_tab_contents2.封面TM。通用投资组合。数学金融。1991年1月1日；1(1):1-29.http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9965.1991.tb00002.x/full3.Helmbold DP、Schapire RE、Singer Y、Warmuth MK.使用乘法更新的在线投资组合选择。数学金融。1998年10月1日；8(4):325-47.http://onlinelibrary.wiley.com/doi/10.1111/1467-9965.00058/full4.Li B，Hoi SC.在线投资组合选择：一项调查。ACM计算调查（CSUR）。2014年1月1日；46(3):35.https://arxiv.org/abs/1212.21295.Heaton JB、Polson NG、Witte JH。金融深度学习：深度投资组合。在商业和工业中应用随机模型。2017年1月1日；33(1):3-12.https://papers.ssrn.com/sol3/papers.cfm?abstract_id=28380136.宋Q，刘A，杨西。股票投资组合选择使用学习排名算法与新闻情绪。神经计算。2017年6月16日。http://www.sciencedirect.com/science/article/pii/S09252312173110987.Ghavamzadeh M，Mannor S，Pineau J，Tamar A.贝叶斯强化学习：一项调查。基础和趋势 在机器学习中。2015年11月26日；8(5-6):359-483.https://arxiv.org/abs/1609.044368.Bubeck S，Cesa Bianchi N.《随机和非随机多武装土匪问题的后悔分析》。机器学习的基础和趋势。2012年12月12日；5(1):1-22.http://www.nowpublishers.com/article/Details/MAL-0249.Lai TL，Robbins H.渐进有效的自适应分配规则。应用数学的进展。

1985年3月1日；6(1):4-22.http://www.sciencedirect.com/science/article/pii/019688588590002810.Kuleshov V，Precup D.多武装强盗问题的算法。arXiv预印本XIV:1402.6028。2014年2月25日。https://arxiv.org/abs/1402.602811.Auer P，Cesa Bianchi N，Fischer P.多臂土匪问题的有限时间分析。机器学习。2002年5月1日；47(2-3):235-56.https://link.springer.com/article/10.1023/a:101368970435212.Agrawal S，Goyal N.Thompson对具有线性回报的背景土匪进行抽样。2013年2月13日在国际机器学习会议上（第127-135页）。http://proceedings.mlr.press/v28/agrawal13.html13.Koulouriotis DE，Xanthopoulos A.非平稳多臂bandit问题的强化学习和进化算法。应用数学和计算。2008Mar 1；196(2):913-22.http://www.sciencedirect.com/science/article/pii/S009630030700744814.萨尼A、拉扎里克A、穆诺斯R。多武装匪徒的风险厌恶。2012年神经信息处理系统的进展（第3275-3283页）。http://papers.nips.cc/paper/4753-risk-aversion-in-multi-armed-bandits15.Vakili S，Zhao Q.均值-方差测度下的风险规避多臂土匪问题。IEEE信号处理精选主题杂志。2016年9月；10(6):1093-111.http://ieeexplore.ieee.org/abstract/document/7515237/16.Vakili S，Zhao Q.多武装土匪问题的均值方差和风险值。《独立通信、控制和计算》（Allerton），2015年9月29日第53届Allerton年会（第1330-1335页）。IEEE。http://ieeexplore.ieee.org/abstract/document/7447162/17.Zimin A，Ibsen Jensen R，Chatterjee K.随机多武装匪徒的广义风险厌恶。arXiv预印本arXiv:1405.0833。2014年5月5日。https://arxiv.org/abs/1405.083318.Galichet N、Sebag M、Teytaud O.《勘探vs开采vs安全：风险意识强的多武装匪徒》。

2013年10月21日，印度尼西亚机器学习会议（第245-260页）。https://arxiv.org/abs/1401.112319.沈W，王J，蒋YG，Zha H.正交Bandit学习的投资组合选择。InIJCAIrsos。royalsocietypublishing。组织R.Soc。打开sci。0000000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2015年7月25日（第974页）。http://dl.acm.org/citation.cfm?id=283238420.Ohtsuki H、Hauert C、Lieberman E、Nowak MA。图上合作演化的一个简单规则。自然界2006年5月25日；441(7092):502.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC243008721.Fu F，Nowak MA。全球迁移可以比本地迁移导致更强的空间选择。统计物理杂志。2013年5月1日；151(3-4):637-53.https://link.springer.com/article/10.1007/s10955-012-0631-622.Tarnita CE、Ohtsuki H、Antal T、Fu F、Nowak MA。结构化群体中的策略选择。理论生物学杂志。2009年8月7日；259(3):570-81.http://www.sciencedirect.com/science/article/pii/S002251930900137423.索尔诺基（Szolnoki A，Perc M）。反社会群体奖励并不妨碍公共合作。InProc公司。R、 Soc。B 2015年10月7日（第282卷，第1816号，第20151975页）。皇家学会。http://rspb.royalsocietypublishing.org/content/282/1816/2015197524.Chen X，Zhang Y，Huang TZ，Perc M.在混合和结构良好的人群中使用风险集合解决集体风险社会困境。《物理评论》，E.2014年11月24日；90(5):052823.https://journals.aps.org/pre/abstract/10.1103/PhysRevE.90.05282325.Szolnoki A，Perc M.整合增强了进化社会中的网络互惠。皇家学会杂志界面。2015年2月6日；12(103):20141299.http://rsif.royalsocietypublishing.org/content/12/103/20141299?cpetoc=26.Aste T，Shaw W，Di Matteo T.波动市场中的相关结构和动态。新物理学杂志。

2010年8月19日；12(8):085009.http://iopscience.iop.org/article/10.1088/1367-2630/12/8/085009/meta27.Mantegna注册护士。金融市场的层级结构。欧洲物理杂志《凝聚物质与复杂系统》。1999年9月1日；11(1):193-7.https://link.springer.com/article/10.1007/s10051005092928.Mantegna RN，Stanley HE。经济物理学导论：金融中的相关性和复杂性。剑桥大学出版社；1999年11月13日29日。Bonanno G、Caldarelli G、Lillo F、Mantegna RN。真实市场和模型市场中基于相关性的最小生成树的拓扑结构。《物理评论》，E.2003年10月28日；68(4):046130.https://journals.aps.org/pre/abstract/10.1103/PhysRevE.68.04613030.Bonanno G、Caldarelli G、Lillo F、Michiche S、Vandewalle N、Mantegna RN。金融市场中的股票网络。欧洲物理杂志B-凝聚态物质和复杂系统。2004年3月25日；38(2):363-71.https://arxiv.org/pdf/cond-mat/0401300.pdf31.Ledoit O，Wolf M。大维协方差矩阵的一个条件良好估计。多元分析杂志。2004年2月1日；88(2):365-411.http://www.sciencedirect.com/science/article/pii/S0047259X0300096432.Schwarcz SL.系统性风险。地理位置。LJ。2008;97:193.https://www.iiiglobal.org/sites/default/files/systemicrisk.pdf33.Kritzman M，Li Y，Page S，Rigobon R.作为系统风险度量的主成分。《投资组合管理杂志》。2011年6月1日；37(4):112-26.http://www.iijournals.com/doi/pdfplus/10.3905/jpm.2011.37.4.11234.Dro˙zd˙z S，Grümmer F，Górski AZ，Ruf F，Speth J.股市中集体性和噪音之间竞争的动力学。物理学A：统计力学及其应用。2000年12月1日；287(3):440-9.http://www.sciencedirect.com/science/article/pii/S037843710000383635.黄X、伏特加I、哈夫林S、何士丹利。二部图中的级联故障：系统风险传播模型。科学报告。

2013年2月5日；3:1219.https://www.nature.com/articles/srep0121936.Onnela JP、Chakraborti A、Kaski K、Kertesz J、Kanto A.市场相关性动力学：分类学和投资组合分析。《物理评论》，E.2003年11月13日；68(5):056110.https://journals.aps.org/pre/abstract/10.1103/PhysRevE.68.05611037.Pozzi F，Di Matteo T，Aste T.金融市场的风险分散：更好地投资于周边市场。科学报告。2013;3.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC362719338.Ren F，Lu YN，Li SP，Jiang XF，Zhong LX，Qiu T.使用聚类方法的动态投资组合策略。公共科学图书馆一号。2017年1月27日；12（1）：e0169299。RSO。royalsocietypublishing。组织R.Soc。打开sci。0000000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .http://journals.plos.org/plosone/article?id=10.1371/journal.pone.016939.弗里曼公司。社交网络概念澄清的中心地位。社交网络。1978年1月1日；1(3):215-39.http://www.sciencedirect.com/science/article/pii/037887337890021740.Artzner P、Delbaen F、Eber JM、Heath D.一致性风险度量。数学金融。1999年7月1日；9(3):203-28.http://onlinelibrary.wiley.com/doi/10.1111/1467-9965.00068/full41.B"auelle N，Rieder U.《马尔可夫决策过程及其在金融中的应用》。施普林格科学与商业媒体；2011年6月6日42。P流量GC。关于风险价值和条件风险价值的一些评论。InProbabilisticconstrained optimization 2000（第272-281页）。施普林格我们。https://link.springer.com/chapter/10.1007/978-1-4757-3150-7_1543.Rockafellar RT，Uryasev S.条件风险值的优化。风险杂志。2000年4月1日；2:21-42.http://www.pacca.info/public/files/docs/public/finance/Active%20Risk%20Management/Uryasev%20Rockafellar-%20优化%20CVaR。pdf44。Black F，Scholes M。期权定价和公司负债。

政治经济杂志。1973年5月1日；81(3):637-54.http://www.journals.uchicago.edu/doi/abs/10.1086/26006245.什里夫SE。金融随机演算II：连续时间模型。施普林格科学与商业媒体；2004年6月3日46。Glasserman P.金融工程中的蒙特卡罗方法。Springer Science&BusinessMedia；2013年3月9日47。Way R、Lafond F、Farmer JD、Lillo F、Panchenko V.Wright与Markowitz会面：当资产是遵循经验曲线的技术时，标准投资组合理论是如何变化的。https://arxiv.org/pdf/1705.03423.pdf48.初级LS，Mart AM。《纽约时报》和股票市场之间的相关性和信息流。2017年7月。https://ideas.repec.org/p/arx/papers/1707.05778.html49.Reiter JG、Kanodia A、Gupta R、Nowak MA、Chatterjee K.生物拍卖与多重化。过程中。R、 Soc。B 2015年8月7日（第282卷，第1812号，第20151041页）。皇家学会。http://rspb.royalsocietypublishing.org/content/282/1812/20151041.short