机器学习在模拟股票情绪重建中的应用

相反，我们观察过程{yt}，其中每个yt可以位于其中一个状态Y，Y，。。。，YM。HMM具有以下参数的特征：o隐藏状态转移概率分布A={aij}，其中aijis是隐藏状态之间转移概率的N×Nmatrix，即aij=P（xt+1=Xj | xt=Xi），1 6 i，j 6 N.o可观测状态概率分布B={bik}，其中{bik}是隐藏状态到观测状态之间发射概率的N×Mmatrix，即：bik=P（yt=Yj | xt=Xi），1 6 i 6 N，1 6 k 6 M。模拟股票市场情绪重建中的机器学习15o初始分布π={πi}，其中π是初始隐藏状态概率的N元组，即πi=P（x=Xi），1 6 i 6 N。这样，我们将通过三元组λ=（a，B，π）定义离散HMM。（A.1）如果我们观察序列{yt}，t=1，我们知道可观测态的谱{Yt}，以及隐藏态的维数，我们可以使用Baum-Welchalgorithm来推断HMM的参数λ。我们首先通过猜测初始化λ，然后迭代以下过程，直到收敛。首先，我们计算向前和向后概率^αit=P（xt=Xi | y··yt），βit=ct+1··cTP（yt+1··yt··xt=Xi），（A.2）ct=P（yt··y··yt-1） （A.3）使用递归关系αi1=πibik，ct+1^αi t+1=Xj^αjtajibi kt+1，（A.4）^βiT=1，ct+1^βiT=Xj^βj t+1aijbj kt+1，（A.5）Xi^αiT=1，^αi1=αi1c，（A.6）其中我们表示yt=Ykt，接下来我们计算概率。γit=P（xt=Xi | y··yT）=αit···························································。（A.8）最后，我们将λ参数更新为πi=γi1，aij=PT-1t=1ξtijPT-1t=1γit，bik=PTt=1δ（yt=Yk）γitPTt=1γit。（A.9）可以使用维特比算法推断潜在的隐藏状态{xt}。

一个定义了两个辅助矩阵Rit，Qitof大小N×T，其中Ritis是最可能的序列x···x的概率给定观测序列y··yt，因此xt=Xi。它可以递归计算为Ri1=πibik，Rit=maxj（Rj t-1aji）自行车。（A.10）Qitis xt-根据观察结果y··yt，最可能的隐藏序列x··xt1。可根据已知的RitasQit=arg maxj（Rj t-1aji）。（A.11）模拟股票市场情绪重建中的机器学习16 t=t时最可能的隐藏状态是thenxT=arg maxi（RiT），（A.12），然后用于初始化迭代计算xt=Qxt+1t+1。（A.13）附录B。递归神经网络在本附录中，我们回顾了最简单的一种递归神经网络（RNN）。AnRNN是一种能够拟合时间序列数据的神经网络。RNN可以解决的一个典型问题是从输入时间序列{xt}预测输出时间序列{yt}，其中t=1，2。RNN被设计为适用于时间序列的特定长度。我们可以根据长度T的数据块对其进行训练。假设给定时间t的输入是维数S的向量xts，输出ytis是维数N的向量。输入层接收xtis，输出层生成ytis。与通常的神经网络类似，RNN在输入层和输出层之间有一个加密层。隐藏层mt是RNN的“内存”，受当前输入xt和所有先前输入xτ，τ=1，2，t型- 1、我们将存储层MTA表示为大小为M的向量。RNN的特征是隐藏偏差向量b、输出偏差向量e、输入权重矩阵W、内存到内存矩阵V和内存到输出矩阵U。我们将这些参数统称为R=（W、V、U、b、e）。

（B.1）RNN的核心功能由方程smt=f（W xt+V mt）描述-1+b），（b.2）yt=U mt+e，（b.3）带有一些分类函数f，在本文中我们选择f≡ 谭。综上所述，RNN的内部结构以t独立参数R和t依赖记忆向量mt为特征。训练RNN意味着设置参数R以从给定输入{xt}产生所需输出{yt}。可以方便地表示所需的输出ytin，即在每个给定的时间步骤t，我们希望输出yt等于向量rtit，分量srit=δi rt，i=1，N（B.4）然后我们可以将期望的输出表示为非零ytvector分量的索引值{rt}的时间序列。我们可以通过计算rtvaluesPit=eyitPjeyjt，i=1，…，的概率，将该期望输出向量与实际输出yt相匹配，N，（B.5）模拟股票市场情绪重建中的机器学习17，并在损失函数中使用这些概率，参见，例如，[17]L=-XtlogXiPitRit！。（B.6）然后可以使用损失函数L的反向传播在许多训练迭代中调整RNN参数R。我们希望损失函数值尽可能小，因此我们将在与损失函数L w.R.t.这些参数的梯度相反的方向上移动参数R的值。我们总结了所有关键梯度，（y） Lmt公司≡Lymt=Pmt- δm rt，（B.7）（U） Lij公司≡LUij=Xt（y） Litmjt，（B.8）（e） L我≡Lei=Xt（y） Lit，（B.9）（m） L它≡Lmit=XjUji（y） Ljt公司+（mn）Lit，（B.10）（mn）L它≡Xjh^（m） Lij t+1Vji，（B.11）麻省理工学院≡ tanh^mit，（B.12）[（m） L]它≡L ^mit=（m） Lit（1- 麻省理工学院，（B.13）（W）Lij公司≡LWij=Xt[^（m） L]itxjt，（B.14）（五）Lij公司≡LVij=Xt[^（m） L]itmj t-1，（B.15）（b） Lij公司≡Lbi=Xt[^（m） L]它。

（B.16）一旦我们知道梯度，我们就知道为了减少损失函数，需要改变参数R的多少，R→ R-rρ[（R） L），（B.17），其中学习率为R’0.1，自适应学习率为ρ=sXn[（R） L]，（B.18），求和是在我们迄今为止执行的所有迭代中完成的，包括在内。模拟股票市场情绪重建中的机器学习18参考文献[1]R.G.Palmer、W.B.Arthur、J.H.Holland、B.LeBaron和P.Tayler，《艺术经济生活：股票市场的简单模型》，Physica D，75264，1994。[2] W.B.Arthur、J.H.Holland、B.LeBaron、R.Palmer和P.Tayler，《艺术股票市场内生预期下的资产定价》，1996年。[3] R.G.Palmer、W.B.Arthur、J.H.Holland和B.LeBaron，《艺术股票市场》，《艺术生活与机器人》，第3、1、27页，1999年。[4] B.LeBaron、W.B.Arthur和R.Palmer，《艺术股票市场的时间序列特性》，《经济动力学与控制杂志》，23、914871999年。[5] M.Raberto、S.Cincotti、S.M.Focardi和M.Marchesi，《基于代理的金融市场模拟》，Physica a，299，13192001。[6] E.Bonabeau，《基于代理的建模：模拟人类系统的方法和技术》，美国国家科学院学报，99，10，32002年。[7] S.Pastore、L.Ponta和S.Cincotti，《基于异质信息的艺术股票市场》，新物理杂志，2010年12月。[8] L.Ponta、M.Raberto和S.Cincotti，《一个拥有零智能阅读器的多资产艺术股票市场》，《欧洲物理学快报》，93，22011年。[9] M.A.Bertella，F.R.Pires，L.Feng，H.E.Stanley，《信心与股票市场：基于代理的方法》，PLoS ONE，9（1）：E834882014。[10] M.Goykhman，《情绪驱动市场中的财富动态》，Physica a，4881322017。[11] E.Samanidou、E.Zschishang、D.Stau ffer和T。

Lux，《基于代理的金融市场模型》，物理学进展报告，2007年第70、3期。[12] B.Mandelbrot，《某些投机价格的变化、分形和金融规模》，3711997。[13] L.R.Rabiner，《隐马尔可夫模型及其在语音识别中的选定应用教程》，IEEE会议录，77，21989年。[14] M.R.Hassan，B.Nath，《利用隐马尔可夫模型进行股票市场预测：一种新方法》，ISDA，2005年。[15] A.Gupta，B.Dhingra，《利用隐马尔可夫模型进行股票市场预测》，IEEE，2012年。[16] G.Kavitha，A.Udhayakumar，D.Nagarajan，《利用隐藏马尔可夫模型进行股市趋势分析》，IJSCNS，11（10），103，2013年。[17] A.Karpathy，CS231n：用于视觉识别的卷积神经网络，斯坦福CS课程。[18] J.Duchi，E.Hazan，Y.Singer，《在线学习和随机优化的自适应次梯度方法》，机器学习研究杂志，12，21212011年。