AlphaStock：买入赢家和卖出输家的投资策略

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy
  using Interpretable Deep Reinforcement Attention Networks》
---
作者：
Jingyuan Wang, Yang Zhang, Ke Tang, Junjie Wu and Zhang Xiong
---
最新提交年份：
2019
---
英文摘要：
  Recent years have witnessed the successful marriage of finance innovations and AI techniques in various finance applications including quantitative trading (QT). Despite great research efforts devoted to leveraging deep learning (DL) methods for building better QT strategies, existing studies still face serious challenges especially from the side of finance, such as the balance of risk and return, the resistance to extreme loss, and the interpretability of strategies, which limit the application of DL-based strategies in real-life financial markets. In this work, we propose AlphaStock, a novel reinforcement learning (RL) based investment strategy enhanced by interpretable deep attention networks, to address the above challenges. Our main contributions are summarized as follows: i) We integrate deep attention networks with a Sharpe ratio-oriented reinforcement learning framework to achieve a risk-return balanced investment strategy; ii) We suggest modeling interrelationships among assets to avoid selection bias and develop a cross-asset attention mechanism; iii) To our best knowledge, this work is among the first to offer an interpretable investment strategy using deep reinforcement learning models. The experiments on long-periodic U.S. and Chinese markets demonstrate the effectiveness and robustness of AlphaStock over diverse market states. It turns out that AlphaStock tends to select the stocks as winners with high long-term growth, low volatility, high intrinsic value, and being undervalued recently.
---
中文摘要：
近年来，金融创新和人工智能技术在各种金融应用中成功结合，包括定量交易（QT）。尽管有大量研究致力于利用深度学习（DL）方法构建更好的QT策略，但现有研究仍然面临着严峻的挑战，尤其是金融方面的挑战，如风险与回报的平衡、对极端损失的抵抗力以及策略的可解释性，这限制了基于DL的策略在现实金融市场中的应用。在这项工作中，我们提出了AlphaStock，一种新的基于强化学习（RL）的投资策略，通过可解释的深度注意网络来增强，以应对上述挑战。我们的主要贡献总结如下：i）我们将深度注意网络与夏普比率导向的强化学习框架相结合，以实现风险回报平衡的投资策略；ii）我们建议对资产之间的相互关系进行建模，以避免选择偏差，并开发跨资产注意机制；iii）据我们所知，这项工作是最早利用深度强化学习模型提供可解释的投资策略的工作之一。在长周期美国和中国市场上的实验证明了AlphaStock在不同市场状态下的有效性和稳健性。事实证明，AlphaStock倾向于选择那些长期增长率高、波动性低、内在价值高、最近被低估的股票作为赢家。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Trading and Market Microstructure        交易与市场微观结构
分类描述：Market microstructure, liquidity, exchange and auction design, automated trading, agent-based modeling and market-making
市场微观结构，流动性，交易和拍卖设计，自动化交易，基于代理的建模和做市
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--

---
PDF下载：
--> AlphaStock:_A_Buying-Winners-and-Selling-Losers_Investment_Strategy_using_Interp.pdf (1.09 MB)

2022-6-25 07:00:04 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Stock Alpha 投资策略 tock stoc

AlphaStock：买入赢家和卖出输家的投资策略传统网络：王景元1,4，张杨，唐柯，吴俊杰3,4，*, 张雄1。北京航空航天大学计算机科学与工程学院教育部高级计算机应用技术工程研究中心，北京，中国2。清华大学社会科学学院经济研究所，北京3。北京航空航天大学经济与管理学院城市运行应急保障模拟技术北京重点实验室，北京，中国4。北京航空航天大学BDBC高级创新中心，北京，中国。* 通讯作者。抽象创新和各种人工智能技术nance应用程序，包括定量交易（QT）。尽管进行了大量的研究e尽管投票决定利用深度学习（DL）方法来构建更好的QT策略，但现有研究仍然面临严重挑战，特别是从nance，如风险与回报的平衡、对极端损失的抵抗力以及策略的可解释性，这些限制了基于DL的策略在现实生活中的应用金融市场。在这项工作中，我们提出了AlphaStock，这是一种基于新强化学习（RL）的投资策略，通过可解释的深度注意网络进行增强，以应对上述挑战。我们的主要贡献总结如下：i）实施学习框架，以实现风险回报平衡投资策略；i）我们建议对SAMONG资产的相互关系进行建模，以避免选择偏差，并开发跨资产注意机制；i ii）据我们所知，这项工作rst至oer使用深度强化学习模型的可解释投资策略。长周期ICU实验。S

中国市场证明了eAlphaStock在不同市场状态下的客观性和稳健性。事实证明，AlphaStock倾向于选择那些长期增长率高、波动性低、内在价值高、近期估值偏低的股票作为赢家。CCS概念o应用计算→ 经济学；o计算方法学→ 强化学习；神经网络。关键词投资策略、强化学习、深度学习、可解释预测允许制作本作品的全部或部分数字或硬拷贝供个人或教室使用，但前提是复制或分发不用于或commercial advantage，且副本上附有本通知和首页。必须尊重ACMM以外的其他人拥有的本作品组件的版权。允许信用提取。要以其他方式复制或重新发布、在服务器上发布或重新分发到列表，需要事先指定c许可和/或afee。从请求权限permissions@acm.org.KDD2019年8月4日至8日，美国AK安克雷奇(c)2019计算机械协会。ACM ISBN 978-1-4503-6201-6/19/08$15https://doi.org/10.1145/3292500.3330647ACM参考格式：王景元、张杨、唐柯、吴俊杰、张雄。2019年8月4日至8日在美国AK州安克雷奇举行的第25届ACMSIGKDD知识发现数据挖掘会议（KDD’19）上，AlphaStock：利用可解读的深度强化注意网络的买入赢家和卖出输家投资策略。

ACM，纽约，纽约，美国，9页。https://doi.org/10.1145/3292500.33306471介绍鉴于处理大规模交易的能力在理性决策中，量化交易（QT）策略长期以来被采用金融机构和对冲基金都取得了惊人的成功。传统的QT策略通常基于specic金融逻辑。例如，Jegadeesh和Titman在股票市场[]中发现的动量现象被用来构建动量策略。Poterba和Summers提出的均值回归[]认为资产价格随时间趋向于平均值，因此资产价格与其均值的偏差可用于选择投资目标。多因素策略[]使用基于因素的资产评估来选择资产。大多数传统的QT策略，虽然配备了金融理论只能利用一些特定的c特性金融市场，因此可能容易受到不同国家复杂市场的影响。金融事件[，]。深度神经网络也被用于强化学习（RL）框架，以增强传统的低投资策略[，]。尽管有丰富的研究挑战：原则和可能导致次优性能[]。虽然一些基于RL的策略[，]已经考虑了这个问题，但如何构建框架还没有得到很好的研究。挑战2：建模资产之间的相互关系。许多的市场上的金融工具可用于衍生风险意识专业人士TSS从资产之间的相互关系，如对冲、套利和本工作中使用的BWSL策略。然而，现有的基于DL/RL的投资策略很少关注这一重要信息。挑战3：解释投资策略。有一个长长的黑匣子”，因此不能用于医学、投资和军事等关键应用[]。

基于RL的策略以及DL启用策略中的规则仍然是一个悬而未决的问题。在本文中，我们提出了AlphaStock，一种利用深度注意网络的基于强化学习的新策略，以克服上述挑战。AlphaStock本质上是一种买入赢家，卖出输家（BWSL）的股票资产策略。它由三个部分组成。这个rst是一种长-短期记忆与历史状态注意（LSTM-HA）网络，用于从多个时间序列中提取资产表示。第二个组成部分是资产之间的相互关系以及资产价格上涨。第三个是投资组合生成器，它为投资提供关注网络。我们使用RL框架优化我们的模型，以实现回报-风险平衡目标，即通过深度关注模型实现最大化，通过夏普比率目标强化学习实现风险-回报平衡的优点自然整合。此外，为了获得AlphaStock的可解释性，我们提出了一种敏感性分析方法，以揭示我们的模型如何根据资产的多方面特征选择资产进行投资。在长周期美国股市上进行的大量实验表明，我们的AlphaStock策略在各种评估指标方面都优于一些一流的竞争对手。特别是，AlphaStock显示出对不同市场状态的出色适应性（通过RL和Sharpe比率实现），以及对极端损失控制的非凡能力（通过CAAN实现）。

中国股市的扩展实验rm AlphaStock的优势结果表明，AlphaStock选择资产时遵循的原则是“选择长期增长率高、波动性低、内在价值高、最近被低估的股票作为赢家”。2准备工作在本节中，我们rst介绍本文中使用的金融概念，然后我们的问题。2.1基本财务概念定义1（持有期）。持有期是投资资产的最短时间单位。我们将时间轴按顺序划分，将第t个持有期的开始时间称为第t个持有期的开始时间。t战略使用原始资本在第t个持有期投资资产，并获得时间t+1时的ts（可能为负值）。大写字母+prot（t+）保持期。定义3（资产价格）。资产价格为dened asa时间序列p（i）={p（i），p（i），…，p（i）t，…}，其中p（i）t表示时间t时资产i的价格。在这项工作中，我们使用股票作为资产来描述我们的模型，该模型可以通过采用assetspeci扩展到其他类型的资产考虑城市和交易规则。在timet购买资产的操作首先，然后将其出售给Thettiui（p（i）t-p（i）t），其中Ui是资产i的购买量。在多头仓位中，交易员预计资产价格会上涨，因此他们会购买该资产rst并等待价格上涨以赚取prots.定义5（空头头寸）。空头头寸是指出售资产的交易操作rst，然后在Thettiui（p（i）t）买回-p（i）t），其中Ui是资产i的销售量。空头头寸是多头头寸的反向操作。空头仓位交易者的预期是价格会下跌，因此他们抛售股票市场，空头仓位交易者从abroker借入股票，并在交易结束时出售。

交易者买入卖出的股票并将其返还给经纪人。定义6（投资组合）。给定一个带有IAssets的资产池，aportfolio是dened作为向量b=（b（1），b（i），b（I））, 其中，B（i）是资产投资的比例，其中Ii=1b（i）=1。假设我们有一组投资组合{b（1），…，b（j），…，b（j）}。对portfoliob（j）isM（j），withM（j）的投资≥取B（j）M（j）时为0≤然后我们有以下重要的de初始化。定义7（零投资组合）。零投资组合（zero investmentportfolio）是组合时净总投资为零的组合集合。也就是说，对于零投资jJj=1百万（j）=一组公司并将其作为空头头寸出售，然后使用空头头寸是一个零投资组合。请注意，虽然名称为“零投资”，但仍存在预算限制，以限制可从2.2 BWSL股票交易战略[]中借来的股票的总价值，其关键是购买价格上涨率高的资产（赢家），出售价格上涨率低的资产（赢家），出售价格上涨率低的资产（输家）。给定一个周期内的连续投资，我们表示短期投资组合B-tb+tt=，TAt timet，给定预算限制M，我们借用“失败者”b-t我们可以借用isu的库存量-（i） t=~M·b-（i） 电汇（i）电汇（1），其中B-（i） 这是库存的比例-t、 接下来，我们出售我们借入的“失败者”股票，并获得M的资金。之后，我们Mb+t。在t时我们可以购买的股票数量i是u+（i）t=M·b+（i）t/p（i）t。（2）我们用来购买赢家股票的资金是卖空的收益，因此投资组合的净投资{b+t，b-t} 为零。t文件夹。我们能得到的钱是所有股票以t+1的新价格出售股票的收益，即M+t=ii=1u+（i）tp（i）t+1=ii=1米·b+（i）tp（i）t+1p（i）t。

（3） 接下来，我们买回短期投资组合中的股票，并将其返还给经纪人。我们花在买空股票上的钱-t=I′i=1u-（i） tp（i）t+1=i′i=1M·b-（i） tp（i）t+1p（i）t.（4）合奏专业通过长期和短期投资组合获得的收益isMt=M+t- M-tz（i）t=第四个持有期内的p（i）t+1/p（i）tStocki。然后，根据RT=MtM=I计算插入式投资组合的回报率i=1b+（i）tz（i）t-I′i=1b-（i） tz（i）t.（5）Insight i.如等式（5）所示，一个积极的prot、 即Rt>0，意味着长期投资组合中股票的平均价格上涨率高于短期投资组合，即i=1b+（i）tz（i）t>i′i=1b-（i） tz（i）t.（6）A专业表BWSL策略必须确保portfoliob+中的股票的平均价格上涨率高于inb中的股票-. 也就是说，即使市场上所有股票的价格都在下跌，只要我们能够确保股票的价格下跌速度比inb+慢-, 我们仍然可以得到专业相反，即使所有股票的价格都在上涨，如果股票上涨-比B+更快，我们的战略仍然亏损。这一特点意味着股票的绝对价格上涨或下跌不是我们战略的主要关注点；相反，股票之间的相对价格关系更为重要。因此，我们必须在BWSL策略的模型中设计一种机制来描述股票价格的相互关系。2.3优化目标为了确保我们的战略同时考虑投资的回报和风险，我们采用夏普比率，即风险调整后的LSTM HALSTM HALSTM HA濷濷LSTM-HA濷濷CAANPortfolio Generatorfeaturestfeaturestfeaturest濷濷濷濷股票历史状态图1：AlphaStock模型的框架。1994年诺贝尔奖获得者威廉·夏普（WilliamF.Sharpe）[]提出的回报，用于衡量我们战略的绩效。定义8（夏普比率）。

夏普比率是每单位波动率超过无风险回报的平均回报率。考虑到包含持有期的顺序投资，其收益率计算为- ΘVT，（7）其中，VTΘ是投资的每个期间的平均回报率，VTΘ是无风险回报率，如银行的回报率。给定一个有两个周期的连续投资，ATIs的计算值为AT=TTt=1Rt-T Ct，（8）其中T是第三期的交易成本。式（7）中的挥发度为dened asVT公司=Tt=1（Rt-\'Rt）T，（9）其中\'Rt=Tt=1Rt/T是Rt的平均值。对于同期投资，我们策略的优化目标是生成长短组合序列b+={b+，…b+T}和b-= {b-, . . . , b-T} 这可以最大限度地提高投资的收益率，如rg max{B+，B-}HT公司B+，B-. （10） 洞察II。夏普比率从两方面评估战略绩效t和风险视角。本专业人士t-风险平衡特性要求我们的模型不仅关注每个时期的最大回报率，而且考虑到长期回报率设计一个有远见的稳定投资战略比短期高回报的短期战略更有价值ts.3阿尔法斯托克模型夏普比率de式（7）中的ned作为优化目标。Ascomponent是一个具有历史状态注意网络（LSTMHA）的LSTM。对于每个股票i，我们使用LSTM-HA模型从其历史状态x（i）中提取astock representationr（i）。第二个组成部分是一个跨资产关注网络（CAAN），用于描述股票之间的相互关系。CAAN将所有股票的表现（r（i））作为输入，并估计每个股票的优胜者得分（i）。S（i）是一个分数，表示b+b的程度-根据所有股票的得分（s（i））。

我们使用强化学习（reinforcementlearning）将三个组成部分作为一个整体进行端到端优化，通过一种有远见的方式最大化顺序投资的夏普比率。3.1原始库存特征我们模型中使用的库存特征包括两类。这个rst类别是交易特征，描述股票的交易信息。在时间t，交易特征包括：o价格上涨率（PR）：股票在最后持有期间的价格上涨率。它是dened as公司p（i）t/p（i）t-1.对于股票i.o细粒度波动率（VOL）：一个持有期可以进一步划分为许多子期。我们把一个月定为一个月ned为所有子时段价格与t的标准偏差- 1至t.o交易量（TV）：从t- 1至t。It reects股票的市场活动。第二类是公司特征，描述发行股票的公司的财务状况。在timet，公司的特点包括：o市值（MC）：对于stocki，它是dened是价格p（i）和股票流通股的产物市盈率（PE）：指公司市值与其年度收益的比率账面市值比（BM）：是公司账面价值与其市值的比率股息（Div）：指公司在（t- 1） -第个持有期。将其标准化为Z分数。3.2股票表现提取股票的表现与其历史状态密切相关。