基于deep的智能金融投资组合交易策略

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《An intelligent financial portfolio trading strategy using deep
  Q-learning》
---
作者：
Hyungjun Park, and Min Kyu Sim, and Dong Gu Choi
---
最新提交年份：
2019
---
英文摘要：
  Portfolio traders strive to identify dynamic portfolio allocation schemes so that their total budgets are efficiently allocated through the investment horizon. This study proposes a novel portfolio trading strategy in which an intelligent agent is trained to identify an optimal trading action by using deep Q-learning. We formulate a Markov decision process model for the portfolio trading process, and the model adopts a discrete combinatorial action space, determining the trading direction at prespecified trading size for each asset, to ensure practical applicability. Our novel portfolio trading strategy takes advantage of three features to outperform in real-world trading. First, a mapping function is devised to handle and transform an initially found but infeasible action into a feasible action closest to the originally proposed ideal action. Second, by overcoming the dimensionality problem, this study establishes models of agent and Q-network for deriving a multi-asset trading strategy in the predefined action space. Last, this study introduces a technique that has the advantage of deriving a well-fitted multi-asset trading strategy by designing an agent to simulate all feasible actions in each state. To validate our approach, we conduct backtests for two representative portfolios and demonstrate superior results over the benchmark strategies.
---
中文摘要：
投资组合交易者努力确定动态投资组合分配方案，以便在整个投资期内有效分配其总预算。本研究提出了一种新的投资组合交易策略，该策略通过深度Q学习训练智能代理识别最优交易行为。我们为投资组合交易过程建立了一个马尔可夫决策过程模型，该模型采用离散的组合动作空间，确定每种资产在预先指定的交易规模下的交易方向，以确保实用性。我们新颖的投资组合交易策略利用了三个特点，在现实交易中表现优异。首先，设计一个映射函数来处理和转换一个最初发现但不可行的动作，使之成为最接近最初提出的理想动作的可行动作。其次，通过克服维度问题，本研究建立了agent和Q网络模型，在预定义的动作空间中推导出多资产交易策略。最后，本研究介绍了一种技术，该技术的优点是通过设计一个代理来模拟每个状态下的所有可行操作，从而得出一个非常适合的多资产交易策略。为了验证我们的方法，我们对两个有代表性的投资组合进行了回溯测试，并证明其结果优于基准策略。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--
一级分类：Computer Science        计算机科学
二级分类：Artificial Intelligence        人工智能
分类描述：Covers all areas of AI except Vision, Robotics, Machine Learning, Multiagent Systems, and Computation and Language (Natural Language Processing), which have separate subject areas. In particular, includes Expert Systems, Theorem Proving (although this may overlap with Logic in Computer Science), Knowledge Representation, Planning, and Uncertainty in AI. Roughly includes material in ACM Subject Classes I.2.0, I.2.1, I.2.3, I.2.4, I.2.8, and I.2.11.
涵盖了人工智能的所有领域，除了视觉、机器人、机器学习、多智能体系统以及计算和语言（自然语言处理），这些领域有独立的学科领域。特别地，包括专家系统，定理证明（尽管这可能与计算机科学中的逻辑重叠），知识表示，规划，和人工智能中的不确定性。大致包括ACM学科类I.2.0、I.2.1、I.2.3、I.2.4、I.2.8和I.2.11中的材料。
--

---
PDF下载：
--> An_intelligent_financial_portfolio_trading_strategy_using_deep_Q-learning.pdf (1.41 MB)

2022-6-25 06:33:53 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：deep 交易策略 投资组合 金融投资 Dee

使用Deep Q-learningHyungjun Park的智能金融投资组合交易策略浦项科技大学工业和管理工程系，77 Cheongam Ro，Nam Gu，Pohang，Gyengbuk 37673，首尔国立科技大学工业和系统工程系代表KoreaMin Kyu Sim，232，Gongneung Ro，Nowon Gu，首尔，01811，KoreaDong Gu Choi代表*浦项科技大学工业与管理工程系，77 Cheongam Ro，Nam Gu，Pohang，Gyengbuk 37673，韩国代表。投资组合交易者努力确定动态投资组合分配方案，以便在整个投资期内有效分配其总预算。本研究提出了一种新的投资组合交易策略，在该策略中，智能代理通过深度Q学习来识别最佳交易行为。我们为投资组合交易过程建立了一个马尔可夫决策过程模型，该模型采用了一个离散的组合动作空间，确定了每种资产在预先指定的交易规模下的交易方向，以确保其实际适用性。我们新颖的投资组合交易策略利用了三个特点，在现实交易中表现优异。首先，设计了一个映射函数来处理和转换一个最初发现但不可行的操作，使其成为最接近最初提出的理想操作的可行操作。其次，通过克服维度问题，本研究建立了agent和Q网络模型，用于在预先定义的行动空间中推导多资产交易策略。

最后，本研究介绍了一种技术，该技术的优点是能够*相应的authorEmail地址：dgchoi@postech.ac.kr（Dong Gu Choi）2019年12月2日提交给Elsevier的预印本通过设计一个代理来模拟每个州的所有可行行为，从而确定了多资产交易策略。为了验证我们的方法，我们对两个具有代表性的投资组合进行了回溯测试，并展示了优于基准策略的结果。关键词：投资组合交易、强化学习、深度Q学习、深度神经网络、马尔可夫决策过程1。简介金融投资组合交易的目标是在投资期内，通过将资本分配给投资组合中的一篮子资产，使交易员的货币财富最大化。因此，投资组合交易是买方金融行业最重要的投资实践。投资组合交易者努力建立交易策略，以便在应对时变市场条件时，将资本适当分配给金融资产。交易策略优化的典型目标函数包括预期收益和夏普比率（即风险调整收益）。除了优化目标函数外，交易策略还应实现合理的换手率，以便适用于现实世界的金融交易。如果周转率不合理，交易成本会损害整体交易绩效。投资组合交易是一个优化问题，涉及跨多个再平衡期的连续决策过程。在此过程中，应考虑时变市场变量的随机成分。因此，推导最优投资组合交易策略的问题传统上被表述为一个随机优化问题[10、15、19]。

为了在多个时期处理这些随机成分，大多数相关研究都开发了启发式方法[5、7、8、13、21、29、38、39]。近年来，强化学习（RL）已成为解决金融投资组合交易问题的另一种流行方法。在RL方法中，学习代理可以通过尝试各种交易行为和修改其交易行为策略来了解复杂的金融环境，然后根据这些经验优化其交易策略。此外，这些方法具有重要的优势，学习代理可以根据其在未来交易日的经验更新其交易策略。学习代理可以使用他们在每个真实交易日观察到的经验来调整他们的策略，而不是简单地维护从历史数据中衍生出来的交易策略。凭借这些优势以及RL算法的日益普及，许多以前的研究已经将RL算法应用于各种投资组合交易问题设置[1、2、3、6、11、12、14、17、18、24、25、26、27、28、30、38]。根据RL方法的最新发展，一些研究人员【12、17、18】已经开始使用深度RL（DRL）方法，即深度RL和深度神经网络（DNN）的结合，以克服先前RL方法的性能不稳定。然而，我们认为，由于以下两个原因，这一研究方向在实际适用性方面尚未成熟。首先，大多数基于DRL方法的研究侧重于单一资产交易[12,17]。因为大多数交易者通常有多个证券，所以即使衍生出单一资产交易规则，也需要额外的决策步骤。第二，即使研究涉及多资产组合交易，行为也会决定组合权重【18】。

不能直接遵循决定portfolioweights的操作空间，因为它需要关于如何满足目标权重的额外决策。我们将在第2.3节中更详细地解释这个问题。为了克服目前的局限性，本研究提出了一种新的方法，使用最流行的DRL方法之一的深度Q学习来推导多资产组合交易策略。在这项研究中，我们将重点放在多资产交易策略上，并定义一个直观的交易行为集，可以解释为交易员的直接投资指南。在本研究中使用的行动空间中，每个交易包括与投资组合中每项资产相对应的交易方向，每个交易方向包括持有每项资产或以预先指定的交易规模买卖每项资产。尽管最近的一项研究[30]认为，基于离散行动空间优化交易策略会产生负面影响，但我们发现，我们的离散行动空间建模允许较低的周转率，并且比连续行动空间建模更实用。为了制定一个实用的多资产交易策略，本研究涉及一些挑战性方面。首先，设置一个离散的组合行动空间可能会导致不可行的行动，因此，我们可能会得出一个不合理的交易策略（即，一个投资组合权重频繁且无意义变化的策略，只会导致更多的交易成本）。为了解决这个问题，我们引入了映射函数，该函数使代理能够通过将不可行的操作映射到类似且有价值的操作来防止选择不合理的操作。通过应用该映射函数，我们可以在实际行动空间中推导出合理的交易策略。其次，决定投资组合中每项资产交易方向的行动空间存在维度问题【24】。

随着投资组合中资产数量的增加，行动空间的大小也相应增加，因为交易代理必须确定投资组合中多个资产的交易方向组合。这就是为什么之前与此行动空间相关的研究只考虑了单一资产或具有无风险资产交易的单一风险资产。因此，在本研究中，我们克服了这一限制，并利用DQL在实际行动空间中对多资产交易进行了首次研究。第三，尽管我们使用了多年的财务数据，但这些数据可能无法为DRL代理提供足够的培训数据，使其能够在金融环境中学习多资产交易策略。因为学习从联合状态到联合动作的策略映射需要大量数据。有一定数量的数据，因此我们需要让代理在培训数据中获得更多经验，并尽可能多地学习。因此，我们通过模拟每个状态下的所有可行操作，然后利用模拟结果中的学习经验更新agent的跨越策略，从而实现高效学习。该技术允许代理获得并学习足够的经验，以得出一个完善的多资产交易策略。本文的其余部分组织如下。在第2节中，我们首先回顾了相关文献，并介绍了我们的研究与以往研究之间的差异。第3节描述了问题的定义，第4节介绍了我们制定智能交易策略的方法。在第5节中，我们提供了实验结果来验证我们方法的优势。最后，我们在第6节中总结了相关的启示，并确定了未来研究的方向。2、文献综述投资组合交易是一个优化问题，涉及多个再平衡期的连续决策过程。

此外，在此过程中还应考虑市场变量的随机成分。因此，传统上，投资组合交易策略的推导被公式化为一个随机规划问题，以找到最佳交易策略。最近，人们利用基于学习的方法RL来解决这一随机优化问题。为了描述这一随机优化问题，有必要确定如何衡量与金融市场变化相对应的避险成分的特征。在我们的研究中，在每日频率组合交易中，使用技术指标比使用证券基本指数更为常见。本节回顾了之前的研究如何尝试对随机市场成分进行建模，以制定投资组合交易问题和衍生最优交易策略。第2.1节简要介绍了先前制定金融市场随机成分的研究。第2.2节回顾了以前的研究，这些研究讨论了导出最优交易策略的启发式方法。第2.3节回顾了以前的研究，这些研究解决了随机优化问题，从而得出了使用RL的最优交易策略。2.1. 基于随机规划的模型研究投资组合交易，有时管理层使用基于随机规划的模型。随机规划模型制定了一系列随时间变化的投资决策，这些决策可以使投资组合经理在投资期结束前的预期效用最大化。Golub等人【15】使用蒙特卡罗程序将利率序列建模为二项式晶格场景，以解决随机规划的货币管理问题。Kouwenberg【19】使用事件树方法来生成随机规划系数，从而解决了资产负债管理问题。

Consigli和Dempster【10】使用基于情景的随机动态规划来解决资产负债管理问题。然而，基于随机编程的模型有一个局限性，即需要生成许多场景来解决复杂的问题，例如理解金融环境，这会导致巨大的计算负担。2.2. 启发式方法由于基于随机规划的模型的这种局限性，许多研究人员设计了启发式方法（即交易启发式）。最著名的此类方法之一是资产交易的技术分析。该方法提供了一种简单而复杂的方法，通过研究历史数据来确定市场特征和资产回报之间的隐藏关系。利用这些确定的关系，通过采取适当的头寸对资产进行投资。Brock等人[5]使用移动平均和交易区间策略对真实和人工数据进行了回溯测试。朱和周[39]考虑了使用技术分析的理论依据，并提出了一种实用的移动平均策略来确定部分投资。ChourmouziadisandChatzoglou[9]提出了一种基于短期投资组合交易中很少使用的技术指标的智能股票交易模糊系统。另一种流行的启发式方法是模式匹配（即图表启发式）方法，该方法通过将当前的一系列市场特征与过去有意义的模式进行比较来检测关键的市场情况。Leigh等人【21】利用两种类型的牛流感模式匹配开发了一种编码策略。Chen和Chen[8]提出了一种基于模式识别过程中两种新方法的智能模式匹配模型。另一种著名的启发式方法是元启发式算法，它可以在可接受的计算时间内找到近似最优的解决方案。

Derigs和Nickel【13】利用模拟退火技术开发了一个用于投资组合管理的决策支持系统生成器，Potvin等人【32】应用遗传编程自动生成交易规则。Chen和Yu【7】使用遗传算法对价格序列相似的股票进行分组，以支持投资者做出更有效的投资决策。然而，这些启发式方法在完全搜索非常大的可行解空间方面的能力有限，因为它们是灵活的。因此，我们需要小心使用这些方法获得最佳交易策略的可靠性。2.3. 基于强化学习的方法最近的研究方向是使用RL优化交易策略，例如学习代理在与金融环境交互时制定策略。使用基于学习的方法RL，学习代理可以在高维环境中灵活地搜索最优交易策略。与监督学习不同，RL允许从经验中学习，从而使用从与环境交互中获得的未标记数据对代理进行培训。在最早的此类研究中，Neunier【26，27】使用Q-learning优化了多资产组合交易，Q-learning是一种无模型且基于价值的RL。在其他早期研究中，Moody等人【25】和Moody and Saffell【24】分别使用直接RL和循环RL作为基本算法，并推导出多资产长短组合交易策略和单资产交易规则。直接RLI基于策略的RL，通过调整策略参数来优化目标函数，递归RL是一种RL算法，其中最后一个动作作为输入接收。这些研究引入了一些指标，如夏普比率和英镑比率，作为目标函数，并比较了使用不同目标得出的交易策略。

Casqueiro和Rodrigues【6】利用Q学习推导出了一种单一资产交易策略，该策略可以最大化夏普比率。Dempster和Leemans【11】开发了一个自动外汇交易系统，该系统使用自适应学习系统，通过根据市场情况动态调整超参数，采用递归RL的基本算法。O等人[28]提出了一种基于Q学习的局部交易系统，该系统将资产价格序列分为四种模式，并应用不同的交易规则。Bertoluzzo和Corazza[3]提出了一个使用Q学习和线性和核函数近似的单一资产交易系统。Eilerset等人【14】利用Q学习为具有季节性价格趋势的资产制定了交易规则。Zhang等人[38]利用扩展分类系统与RL和遗传算法相结合，得出了一个交易规则生成器。Almahdi和Yang[1]提出了一种基于递归RL的交易决策系统，该系统支持多资产组合交易，并比较了采用不同目标函数时系统的性能。Pendharkar和Cusatis【30】提出了一种指数交易规则，该规则使用两种不同的RL方法，即onpolicy（SARSA）和Off-policy（Q-learning）方法，并比较了这两种方法的性能，还比较了离散和连续agent动作空间建模的性能。Almahdi和Yang【2】使用了一种混合方法，该方法将递归RL和粒子群优化相结合，以推导出一种考虑真实世界约束的投资组合交易策略。最近，开发了结合深度学习和RL算法的DRL，因此，研究建议使用基于DRL的方法来推导投资组合交易策略。