基于deep的智能金融投资组合交易策略

DRL方法使代理人能够通过深度学习了解复杂的金融环境，并通过自动应用RL算法学习交易策略。Jiang等人[18]使用adeep确定性政策梯度（DDPG），这是一种结合基于政策和基于价值的RL的先进方法，并引入了各种DNN结构和技术来交易由现金和几种加密货币组成的投资组合。Deng等人[12]使用基于递归RL的算法推导出了资产交易策略，并引入了一个模糊深层递归神经网络，该网络使用fuzzyrepresentation来减少噪声资产价格中的不确定性，并使用深层递归神经网络来考虑之前的行为并利用高维非线性特征。Jeong和Kim【17】推导出了一条资产交易规则，该规则确定了资产的行动以及所采取行动的股份数量。为了学习这一交易规则，Jeong和Kim【17】使用了一种深度Q网络（DQN），该网络具有一种新颖的DNN结构，由两个分支组成，其中一个学习ActionValue，另一个学习要获取的股份数量，以最大化目标函数。上述研究在不同的问题环境中使用了各种基于RL的方法。所有这些方法在每种情况下都表现良好，但一些问题限制了这些方法在现实世界中的适用性。首先，一些问题设置没有考虑交易成本[3、14、17、28、30]。在不假设交易成本的情况下制定的交易策略在现实世界中的应用可能是不切实际的。第二个问题是，一些策略只考虑交易一种资产[1、3、6、11、14、12、17、24、38]。只投资一项风险资产的交易策略可能具有高风险敞口，因为它没有风险分散效应。

最后，在先前使用RL推导多资产组合交易策略的研究中，代理人的行动空间被定义为下一时期的投资组合权重【1、2、18、25】。这些研究的行动空间并没有为投资组合交易者提供可应用于包括交易成本的真实交易场景的直接指南。这是因为有许多不同的方法可以从当前投资组合权重过渡到下一个投资组合权重。因此，之前使用投资组合权重作为行动空间的研究需要找到一种方法，在每个再平衡时刻最小化交易成本。以降低交易成本和与下一个目标投资组合的分散度的方式进行再平衡不是一个容易解决的问题[16]。此外，基于先前研究的行动空间得出的投资组合交易策略可能很难应用于现实世界的交易，因为周转率可能很高。确定投资组合权重的行动空间可能会导致频繁的资产转换，因为资产更改量没有上限。因此，我们提出了一种没有此类问题的投资组合交易策略，从而为文献做出了贡献。3、问题定义在本研究中，我们考虑由现金和多个风险集合组成的投资组合。投资组合中的所有资产都是用现金购买的，出售资产所获得的价值以现金持有。也就是说，代理人不能在没有持有现金的情况下购买资产，也不能在没有持有资产的情况下出售资产。这种类型的投资组合被称为只做多的投资组合，不允许卖空。我们的问题设置也有一个乘法利润结构，即投资组合价值是根据之前期间的利润和损失累积的。

我们考虑按比例收取的交易成本，这些交易成本是根据买卖交易中交易金额的绝对比例收取的。此外，我们允许代理人部分购买或出售资产（例如，代理人可以购买或出售资产的一半股份）。我们在问题设置中设置了一些假设。首先，交易只能每天进行一次，一天中的所有交易都是在当天结束时以市场上的收盘价进行的。其次，市场的流动性足够高，所有资产的每笔交易都可以立即进行。第三，与整个市场的规模相比，代理人的交易量非常小，因此代理人的交易不会影响市场环境的状态转换。为了应用RL解决我们的问题，我们需要一个反映金融市场机制的金融环境模型。利用表1中总结的符号，我们制定了一个马尔可夫决策过程（MDP）模型，该模型通过根据时变市场特征为投资组合中的单个资产选择顺序交易行为，在每个时期使投资组合回报率最大化（表2）。3.1. 状态空间代理的状态空间定义为代理选择动作之前当前投资组合的权重向量，以及包含投资组合中资产的市场特征（技术指标）的张量。这种类型的状态空间与之前研究中使用的状态空间相似【18】。