AlphaStock：买入赢家和卖出输家的投资策略

在AlphaStock模型中，我们提出了一个具有历史状态注意的长-短期记忆（LSTM-HA）模型，以从股票的历史特征中学习股票的呈现。顺序表示法。在LSTM-HA网络中，我们使用向量Xt表示股票在时间t的历史状态，该时间t由第3.1节中给出的股票特征组成。我们将最后K个历史持有期命名为时间t，即从t开始的时期- 回溯窗口中股票的Kttof表示为sequenceX={x，…，xk，…，xk}，其中xk=~xt-K+K。我们的模型使用长-短期记忆（LSTM）网络[]将X递归编码为向量ashk=LSTM（hk-1，xk），k∈ [1，K]（11）我们还使用X表示矩阵（xk），两个de起子是可互换的。hkkhKat最后一步用作股票的表示。它包含X元素之间的顺序依赖。历史状态注意。hk可以充分利用元素inX的顺序依赖性，但全局和长范围的x使用所有中间隐藏状态hk来增强hk。Speci公司从逻辑上讲，按照标准注意[]，ris的计算asr=Kk=1ATT（hK，hK）hK，（12），其中ATT（·，·）是注意功能dened asATT（hK，hK）=exp（αk）Kk′=1exp（αk′），（13）αk=w· tanh公司W（1）香港+W（2）香港.这里，w、w（1）和w（2）是要学习的参数。对于时间t的第i个股票，历史状态注意力增强呈现表示为r（i）t。它包含顺序和- K+至timet。在我们的模型中，所有股票的表示向量都是由相同的LSTM-HA网络提取的。等式（11）中的参数SW、W（1）、W（2）和LSTM网络的参数由所有股票共享。

通过这种方式，LSTM-Ha提取的表示对于所有股票而不是特定股票而言是相对稳定和通用的。评论LSTM-HA的一个主要优点是，它可以从股票历史状态中学习序列依赖和全局依赖。与现有研究仅使用递归神经网络]或直接将历史状态叠加作为MLP[]的输入向量来学习全局相关性相比，我们的模型更全面地描述了股票历史。值得一提的是，LSTM-HA也是12，27]，也可以与r（i）t.3.3赢家和输家选择串联或参与。在传统的基于RL的战略模型中，投资组合通常通过softmax归一化[，]直接从股票代表性生成。这类方法的缺点是它没有充分利用股票之间的相互关系，然而这对于BWSL来说非常重要，它提出了一个跨资产注意网络（CAAN）来描述股票之间的相互关系。基本CAAN模型。CAAN模型采用股票间的自我关注。Speci公司从理论上讲，给定股票的表示形式r（i）（在不丧失一般性的情况下，我们忽略时间），我们计算股票i的查询向量Q（i）、键向量k（i）和值向量v（i）asq（i）=W（Q）r（i），k（i）=W（k）r（i），v（i）=W（v）r（i），（14），其中W（Q），W（k）和W（v）是要学习的参数。股票i的jiq（i）查询股票j的键k（j），即βi j=q（i）· k（j）√Dk，（15），其中Dk是参考【】后的重新缩放参数设置。然后，{βi j}将其他股票的值{v（j）}转化为衰减分数：a（i）=ij=1附件q（i），k（j）·v（j），（16），其中自我注意功能SATT（·，·）是βi j的最大标准化相互关系，即SATTq（i），k（j）=经验值βi jIj′=1expβi j′.

（17） 我们使用一个完全连接的层将注意力向量a（i）转换为优胜者得分ass（i）=S形w（s）· a（i）+e（s）, （18） 其中w（s）和e（s）是连接权重和学习偏差。优胜者得分（i）t表示持有期内获胜股票的程度。得分越高的股票越有可能成为赢家。合并价格上涨排名前。在基本CAAN中，由等式（15）建模的相互关系直接从数据中学习。事实上，我们可以使用先验知识来帮助我们的模型toc（i）t-1上一持有期股票价格上涨率（从-t来自NLPeld，我们使用股票在C（i）t坐标轴上的相对位置-1作为c（i）t坐标轴上料层间离散相对距离的先验知识-1asdi j=c（i）t-1.-c（j）t-1.Q, （19） 其中Q为预设量化coe西恩。我们使用查找矩阵XL=（l，…，lL）来表示di j的每个离散值。使用这些索引，相应的列向量ldi jis是相对距离di j.icientψi的嵌入向量，使用ldi jasψi j=sigmoidw（L）本地设计院j, （20） 其中，w（L）是可学习的参数。由公式（15）估计的值与j之间的关系重写为βi j=ψi jq（一）· k（j）√D、 （21）这样，股票在涨价率rankare中的相对位置作为权重引入，以增强或减弱关注度，在关注度上具有更强的相互关系，然后具有相似的优胜者得分。评论如等式（16）所示，对于每只股票i，根据所有其他股票的关注度计算优胜者得分（i）。印加。这种特别注意机制符合第2.2.3.4节“投资组合生成器”中Insight I的模型设计要求，可获得优胜者得分{s（1），…，s（I）。

，s（I）}对于股票，我们的AlphaStock模型通常购买赢家得分较高的股票，然后出售赢家得分较低的股票。Speci公司凯莉，我们RST根据优胜者得分按降序对股票进行排序，并获得每个股票i的序号o（i）。LetGdenote the b+b-o（一）∈ [，G]投资组合b+（i），投资比例按b+（i）=经验计算s（一）o（i′）∈[1，G]经验s（i′）. （22）如果o（i）∈ （一）-G、 I]，库存I将输入b-（i） a比例B-（i） =经验值1.-s（一）o（i′）∈（一）-G、 I]经验1.-s（i′）. （23）为了简单起见，我们可以使用一个向量来记录两个投资组合的所有信息。也就是说，我们形成了lengthI的向量bc，其中bc（i）=b+（i）ifo（i）∈ [，G]，orbc（i）=b-（i） ifo（一）∈ （一）-G、 I]，或0，否则，I=，一、 在下面的内容中，我们使用bcand{b+，b-}为清晰起见，可替换为AlphaStock模型的回归。3.5强化学习优化我们将AlphaStock策略构建为一个离散投资的RL博弈，建模为aRL代理的状态-行动-奖励轨迹π，即π={状态，行动，奖励，…，状态，行动，回报，…，状态，行动，回报}。状态是att观察到的历史市场状态，表示为XT=（X（i）t）。Action是一个一维二元向量，当代理投资stockiatt时，其elementaction（i）t=1，否则为0。据Statet称，代理人有一个投资股票i的概率r（动作（i）t=），该概率由AlphaStock asPr确定动作（i）t=1Xnt，θ=G（i）（Xnt，θ）=bc（i）t，（24）G（i）（Xnt，θ）bc（i）tθ记录模型参数，1/2是为了确保Ii=1Pr（动作（i）t=）=1。

LetHπ表示π的夏普比，然后是活性对Hπ的贡献，其中Tt=1要求T=Hπ。对于所有可能的π，RL代理的平均回报是j（θ）=πHπPr（π|θ）dπ，（25）在RL博弈中，代理人的行为是离散状态，其概率bc（i）t/2指示是否投资股票。在实际投资中，我们根据连续的比例bc（i）t将资本分配给股票。这种近似是为了解决问题。式中，pr（π|θ）是由θ生成π的概率。然后，RL模型优化的目标是nd最佳参数θ*= arg maxθJ（θ）。我们使用梯度上升法迭代优化θ-阿托德τ，使之成为θτ=θτ-1+ ηJ（θ）|θ=θτ-1，其中η是一个学习率。N{π，…，πN，…，πN}，J（θ）可近似计算为[23]J（θ）=πHπPr（π|θ）对数Pr（π|θ）dπ。≈NN型n=1HπnTnt=1Ii=1θlog Pr动作（i）t=1X（n）t，θ,(26)θlog Pr（作用（i）t=| X（n）t，θ）=θlog G（i）（Xnt，θ），由反向传播算法计算。为了确保所提出的模型能够击败市场，我们将阈值方法[]引入到我们的强化学习中。然后梯度公式（26）中的J（θ）重写为J（θ）=NNn=1Hπn- H田纳西州t=1Ii=1θlog G（i）Xnt，θ, （27）如果阈值设定为整个市场的夏普比率。这样，梯度上升只会鼓励那些能够跑赢大盘的参数。评论（27）（Hπn-H）θlog Gπn不是直接给出πn中的任何孤立步骤，而是给出πn中的所有步骤。我们模型的这一特征满足第2.2.4节中SINCT II的远视要求。在AlphaStock模型中，LSTM-HA和CAAN网络运动组合是直接从优胜者分数生成的。

一个自然的后续问题是：AlphaStock会选择哪种股票作为赢家？为了回答这个问题，我们提出了股票的特征在我们的模型中计算其优胜者得分。我们使用=F（X）表示股票的历史特征X对其优胜者得分的函数。在我们的模型中，s=F（X）是LSTM-HA和CAAN的组合网络。我们使用xqt表示一个元素of x，它是一个特征（de）的值ned在第3.1）节a回顾窗口的特定时间段，例如三个月前的股票价格上涨率。考虑到股票的历史状态xqt对其得分s的影响，即s对xq的敏感性，表示为δxq（X）=limxq公司→0F（X）- Fxq+xq，X-xqxq公司-xq+xq公司= F（X）xq，（28），其中X-xq表示X的元素，xq除外。对于市场中所有可能的股票状态股票状态特征xqt对胜利者得分s的影响为δxq=DXPr（X）δxq（X）dσ。（29）其中Pr（X）是X的概率密度函数，并且DX·dσ是x的所有可能值的积分。根据LargeNumber定律，给定一个包含N个持有期内股票历史状态的数据集，δxqi近似为δxq=I×NNn=1Ii=1δxqX（i）nX（-i）n, （30）其中，X（i）为第i个股票在当时持有期的历史状态，X（i）为与第i个股票的历史状态同时存在的其他股票的历史状态。我们使用δxqt来测量股票特征的影响xq'δxqmodel倾向于在股票较大时将其视为赢家，反之亦然。例如，在接下来的实验中，我们得到ne粒度波动性特征，这意味着我们的模型倾向于选择低波动性股票作为赢家。5实验在本节中，我们利用美国市场的数据对AlphaStock模型进行了实证评估。

中国股市的数据也用于稳健性检验。5.1数据和实验设置我们实验中使用的美国股市数据来自沃顿研究数据服务公司（WRDS）。数据的时间范围为1970年1月至2016年12月。这一长时间范围涵盖了几个著名的市场事件，如1995年至2000年的网络泡沫和2007年至2009年的次贷危机，这使得对不同市场状态的评估成为可能。这些股票来自四个市场：纽约证券交易所、纽约证券交易所美国、纳斯达克和纽约证券交易所Arca。有效股票数量每年超过1000只。我们使用1970年1月至1990年1月的数据作为训练和验证集，其余数据作为测试集。在实验中，持有期设置为一个月，回溯窗口大小设置为12，即我们回顾股票12个月的历史状态。投资组合的规模设定为所有股票数量的1/4。5.2基线方法相较于许多基线，包括：o市场：统一买入持有策略[13]；o横截面动量（CSM）[]和时间序列动量（TSM）[18]：两种经典动量策略；o战略[13]；o模糊深层直接强化（FDDR）：一种新的基于BL的BWSL策略[3]；oAlphaStock NC（AS-NC）：没有CAAN的AlphaStock模型，其中LSTM-HA的输出直接用作投资组合生成器的输入。oAlphaStock NP（AS-NP）：没有价格上涨排名的AlphaStock模型，我们在模型中使用基本的CAAN。基线TSM/CSM/RMR代表传统财务战略。TSM和CSM基于动量逻辑andhttps://wrds-web.wharton.upenn.edu/wrds/RMR基于反转逻辑。FDDR表示用于验证eCAAN的客观性和price risingrank优先。

市场用于指示市场状态。5.3评价指标投资策略最标准的评价指标是累积财富，即ned asCWT=Tt=1（Rt+1-TC），（31），其中Rtis为回报率de根据参考文献[3]，在我们的实验中，交易成本TC设置为0.1%。di的首选项不同的投资者各不相同。因此，我们还可以使用其他一些评估指标，包括：1）年化百分比（APR）是年化平均回报率。它是dened asAPRT=AT×NY，其中NY是一年中的持有期数。2） 年化波动率（AVOL）是波动率的年化平均值。它是dened ASAVLT=VT×√NYand用于衡量单位时间内策略的平均风险。3） 年化夏普比率（ASR）是基于APR和AVOL的风险调整年化回报。形式化deASRis的起始ASRT=APRT/AVOLT。4） 最大提款（MDD）是指在达到新的峰值之前，从apeak到投资组合低谷的最大损失。这是衡量投资风险的另一种方法。形式化的MDD isM DDT的起始值=最大τ∈[1，T]最大值∈[1, τ ]AP Rt- AP RτAP Rt. （32）5）Calmar比率（CR）是基于最大提取的风险调整后的APR。计算公式为CRT=APRT/MDDT。当收益率低于最低可接受收益率（MAR）时的平均收益率。这是基于NDRT=AP RT的风险调整后的APR下行偏差=AP RTE[最小值（Rt，M AR）]，t∈ [1，T]。（33）在我们的实验中，MAR设置为零。5.4在美国市场的表现。2是AlphaStock和thebaselines的累积财富比较。总的来说，AlphaStock（AS）的性能比其他基线要好得多，这验证了e的es我们模型的客观性。

一些有趣的观察结果如下：1）AlphaStock的表现优于AlphaStock NPNC，这表明由CAAN建模的股票排名优先级和相互关系对BWSL策略非常有帮助。2） FDDR也是一种深度RL投资策略，它使用递归深度神经网络提取股票的模糊表示。在我们的实验中，AlphaStockNC的性能优于FDDR，表明了我们的LSTM网络在股票表征学习方面的优势。1990年1995年2000年2005年2010年2015年累计财富012345美元613 $61和FDDR RMR CSM TSM市场图2：美国市场的累积财富。表1：美国市场的业绩比较。APR AVOL ASR MDD CR DDRMarket 0.042 0.174 0.239 0.569 0.073 0.337TSM 0.047 0.223 0.210 0.523 0.090 0 0.318CSM 0.044 0.096 0.456 0.126 0.350 0.453RMR 0.074 0.134 0.551 0.098 1.249 0.757FDDR 0.063 0.056 1.141 0.070 0.900 2.028AS-NC 0.101 0.052 1.929 0.068 1.492 1.685AS-NP 0.133 0.065 2.054 0.033 3.990 4.618AS 0.143 0.067 2.132 0.027 5.296 6 6.3973）TSM策略在牛市中表现良好，但在熊市中非常糟糕2003年和2008年的金融危机），而RMR则表现相反。这意味着财务策略只能适应某种类型的市场状态，而不需要前瞻性机制。RL策略（包括AlphaStock和FDDR）极大地解决了这一缺陷，它们在整个di中表现得非常稳定不同的市场状态。表1。对于带下划线的度量值（AVOL、MDD），较低的值表示性能更好，而对于Phastock，情况正好相反，AlphaStock NP和AlphaStock NC优于所有度量值的其他基线，而重新连接e我们战略的客观性和稳健性。

AlphaStock、AlphaStock由于所有这些模型的表现都得到了优化，以最大限度地提高Sharpebit的波动率。更有趣的是，由MDD、CR和DDR测量的AlphaStock的性能远远优于AlphaStockNP。通过比较AlphaStock NP和AlphaStock NC的MDD、CR和DDR，可以观察到类似的结果。这三个指标用于表示投资中的极端损失，即最大提取和低于最小可接受阈值的回报。结果表明，这三个模型的极端损失控制能力为AlphaStock>AlphaStock NP>AlphaStock NC，这突出了CAAN成分的贡献和价格上涨的排名。事实上，具有涨价排名优先权的CAAN充分利用了股票之间的排名关系。这种机制可以保护我们的战略不受“买入输家，卖出赢家”的错误影响，因此可以极大地避免投资中的极端损失。