用神经网络因子模型度量系统风险

对于NNFM，我们使用比其他更普遍的LSTM。有关这些网络的更多详细信息，请参阅Goodfello等人[18]中的相关章节。NNFM有一个缺点，即ZT的含义相当不明确。因此，我们还提出了NNFM的子模型M-NNFN（单调NNFM），它包括M-NNFM（1）和M-NNFM（2）。首先，让我们检查以下网络，MI-FNN（单调递增FNN）：MI-FNNx | z，uzΘx | z= PReLU公司PReLU公司z扩展W1，u+ b1，u经验值W2，u+ b2，u,MI FNNx | z，σzΘx | z= SoftPlusPReLU公司z扩展W1，σ+ b1，σ经验值W2，σ+ b2，σ,其中，PReLU（x）=x Ix≥0+0.5x Ix<0，SoftPlus（x）=log（1+ex），W1，u和W1，σ是nz×m矩阵，W2，u和W2，σ是m×nx矩阵，b1，u和b1，σ是m维向量，b2，u和b2，σ是nx维向量，m是隐藏层中的节点数，所有函数都可以按元素应用于矩阵和向量。注意，对于MI-FNN，Θx | z={W1，u，W2，u，b1，u，b2，u，W1，σ，W2，σ，b1，σ，b2，σ}。我们可以不费吹灰之力地检查MI-FNN相对于z是单调递增的。我们现在用MI-FNN构造M-NNFM（1）和M-NNFM（2）。对于M-NNFM（1），zt是一维的，即zt=（zt，1）和ux | z，tandσx | z，皮重分别相对于zt，1单调递减和递增，也就是说，ux | z，t=-MI FNNx | z，uzt，1；Θx | z, σx | z，t=MI FNNx | z，σzt，1；Θx | z.该模型旨在适应杠杆效应，即资产价格和波动率之间的反向关系。M-NNFM（1）使得系统风险可以仅通过一个因素zt进行评估，1；zt，1在动荡的市场中较高，但在正常市场中较低，这意味着zt，1可以用作经济指标。另一方面，对于M-NNFM（2），ZT是二维的，即。

zt=（zt，1，zt，2）和ux | z，tandσx | z，分别是zt，1和zt，2的皮重单调递增函数，如下所示：ux | z，t=MI FNNx | z，uzt，1；Θx | z, σx | z，t=MI FNNx | z，σzt，2；Θx | z,该设计有助于我们考虑zt，1和zt，2ux | z，tandσx | z，t；zt，1在牛市中较高，但在熊市中较低；zt，2在波动市场中较高，但在稳定市场中较低。除zt外，M-NNFM（1）中的1、（zt，1，zt，2）也可以用作另一个经济指标。此外，可以通过观察差异来衡量每项资产对系统风险的敏感性zjux | z，接地zjσx | z，t。这对全面管理系统风险有很大帮助。3、变分推理神经网络3.1。变分推论遵循Bayesian的精神，我们推断出后p（z≤T | x≤T因子过程z的≤t对于GFM，其中Θ表示所有参数Θx | z∪Θz∪Θh.乍一看，后验值似乎可以用Bayes定理计算如下：pz≤T | x≤TΘ=px个≤T | z≤TΘpz≤TΘpx个≤TΘ.然而，边际可能性p（x≤TΘ）与可能性p（x≤T | z≤TΘ）和之前的p（z≤T可以从（1）和（2）中得出。因此，必须使用数值技术，如马尔可夫链蒙特卡罗模拟（MCMC）和变分推理（VI）。在本文中，仅使用VI是因为复杂模型的MCMC计算非常耗时；GFM有成千上万个潜在变量，用于建模多个集合的长期数据。有关贝叶斯统计的全面回顾，请参考Kruschke【30】。VI通过给出一个易于处理的近似值q（z），克服了这一困难≤T | x≤Tφ） 对于p（z≤T | x≤TΘ），其中φ是q的参数集。与MCMC相比，该近似可显著减少计算时间。

当然，最好将q（z）之间的距离最小化，例如库尔贝克-莱布尔（KL）散度≤T | x≤Tφ） 和p（z≤T | x≤TΘ). 该目标可以通过最大化变分下界（Θ，φ；x）来实现≤T） 关于Θ和φ。我可以得到Θ,φ; x个≤T=LLXl=1log pq（φ）x个≤T | z（l）≤TΘ-吉隆坡qz≤T | x≤Tφpz≤TΘ=TXt=1LLXl=1log pq（φ）xt | z（l）t；Θ-KL[q（zt | xt，z<t；φ）k p（zt | z<t；Θ）], （5） 其中，下标q（φ）表示z（l）≤从分布q中取样，L是z的模拟数≤T、 最后一个等式来自p（z≤T | x≤TΘ）=∏Tt=1p（zt | xt，z<t；Θ）和KL散度的可加性。上述公式的第一项是估计重建程度的预期对数可能性。第二项是正则化器，用于测量使用近似后验值时丢失的信息量。值得注意的是，KL散度通常是通过分析计算得出的。即使没有，也可以通过数值格式快速获得。简而言之，GFM的VI是最大化L（Θ，φ；x≤T） 关于Θ和φ，从而获得近似的后验q（z≤T | x≤Tφ） 以及参数Θ。让我们解释一下优化是如何进行的。首先，z≤对给定（Θ，φ）进行模拟。其次，通过数值优化（如随机梯度下降法）更新生成因子过程zt（Θ，φ）。重复这两个过程，直到收敛。一个有用的提示是，如果T足够大，L可以设置为1。这使得优化的实现更加容易。此外，请注意，应为优化设置zt的起始值，即z。人们可能会担心由任意设置引起的湍流。但是，如表达式（5）所示，相当大的T可以使拟合结果对初始设置具有鲁棒性。

换言之，人们只需要使用大数据，就没有主观判断的余地。最后，我们强调，这项工作的VI不是完全贝叶斯的，因为我们的论点没有涉及参数Θ的“超先验”概念。换句话说，Θ不是随机变量，而是确定性变量。事实上，根据最近的一些论文，假设随机参数的完整VI很有可能显示出更高的性能。然而，我们必须实施称为“变分辍学”的最新进展，以便实现基于网络的方法的完整VI（参见Kingma等人【28】、Gal和Ghahramani【17】）。由于这项工作似乎超出了本文的范围，我们将在进一步的研究中探讨这一主题。3.2. 变分推理神经网络NNFM是从（zt，ht）生成（xt，ht）的生成网络-1). 相反，变分推理神经网络（VINN）是从（xt，ht）推断（zt，ht）的推理网络-1). 作为NNFM的对应物，VINN旨在实现q*（zt | xt，ht-1.φ） 使用神经网络，其中q*（zt | xt，ht-1.φ） ：=q（zt | xt，ψ（ht-1) ;φ).对于VINN，q*（zt | xt，ht-1.φ） 设置为条件多元正态分布zt | xt~ Nuz | x，t，σz | x，tInz, 式中【uz | x，t，σz | x，t】=Д*z | x（xt，ht-1.φ） ，（6）其中（uz | x，t，σz | x，t）控制zt | xt和ν的平均值和方差*z | x:Rnx×Rnh→ Rnz×Rnz。然后，因为两个正态分布之间的KL散度在分析上是已知的，所以（5）中的第二项不需要进行数值计算。与NNFM中一样，^1*z | xis也由FNN指定：Д*z | x（xt，ht-1.φ） =FNNz | x（xt，ht-1.φ) . （7） VINN也可用于估算第2.2小节中的参数因子模型。回想一下，模型都是马尔可夫模型，即zt仅依赖于zt-1.

因此，上述公式（6）和（7）中的Ht可以用zt表示。现在，我们将迄今为止的讨论总结如下：oNNFM（第2.1和2.3小节）该模型由xt上的生成规则（8）、zt上的生成规则（9）和Ht的复发关系（10）组成，形式如下：xt | zt~ Nux | z，t，σx | z，tInx, 式中【ux | z，t，σx | z，t】=FNNx | zzt；Θx | z, （8） zt | ht-1.~ Nuz，t，σz，tInz, 式中【uz，t，σz，t】=FNNz（ht-1.Θz），（9）和ht=FNH（zt，ht-1.Θh）。（10） 对于M-NNFM（NNFM的子模型），ux | z，tandσx | z，tin（8）由ux | z，t=-MI FNNx | z，uzt，1；Θx | z, σx | z，t=MI FNNx | z，σzt，1；Θx | z,或ux | z，t=MI FNNx | z，uzt，1；Θx | z, σx | z，t=MI FNNx | z，σzt，2；Θx | z,第一和第二规格分别对应MI-NNFM（1）和MI-NNFM（2）VINN（第3.2小节）VINN设计用于近似后p（z≤T | x≤TΘ）对于具有条件法线近似q（z）的NNFM≤Teq | x≤Tφ） 如下：zt | xt，ht-1.~ Nuz | x，t，σz | x，tInz, 式中，[uz | x，t，σz | x，t]=FNNz | x（xt，ht-1.φ） ，（11）式中，Θ=Θx | z∪ Θz∪ Θh.VINN可用于估计第2.2节中的参数因子模型。在这种情况下，上述公式中的HTI替换为ZT。h-1.hh+1.-1.+1.-1.+1生成推断为生成的重复周期h,,,,图1：该图显示了NNFM和VINN的结构。实线、点划线、虚线和虚线分别表示xt上的生成规则（8）、zt上的生成规则（9）、Ht的递推关系（10）和zt上的变分近似（11）。

蓝色线区域在其右侧有更详细的描述，它表示固定时间X和Z之间的相互关系最大化目标函数（第3.1小节）应用两个正态分布之间KL散度的已知形式，变分下边界（5）由byL编写Θ,φ; x个≤T=TXt=1对数pq（φ）（xt | zt；Θ）+H（Θ，φ）,式中，h（Θ，φ）=nzXj=11.-σ（j）z | x，t`Aσ（j）z，t-u（j）z | x，t-u（j）z，tσ（j）z，t+ 日志σ（j）z | x，t`Aσ（j）z，t.这里，上标j表示相关数量的第j个分量，下标q（φ）表明Zt是从分布q中采样的。请注意，（uz，t，σz，t）和（uz | x，t，σz | x，t）分别取决于Θ和φ。通过最大化L（Θ，φ；x≤T） 关于（Θ，φ），q（z≤T | x≤Tφ） 和Θ可以实现。σt的FNN应具有积极的激活功能，如最后一层的softplus功能。图1显示了NNFM和VINN的结构，其中有向箭头图示了xt上的生成规则（8）、zt上的生成规则（9）、Ht的递归关系（10）和zt上的变量近似（11）。特别是，观察图中蓝线部分，其右侧有更详细的描述。放大的图表示XT和ZT在固定时间的相互关系。当仅通过这一部分进行混合时，它与变分自动编码器没有什么不同。自动编码器，包括变分自动编码器，旨在学习一组数据的表示，通常用于维度还原。为此，自动编码器将一组数据压缩为短代码，然后对其进行解压缩，使网络的输出与原始数据紧密匹配。因此，ZT的最深层应该是窄的，以便使该层成为瓶颈，如图所示。

通过这样做，我们可以将给定数据的基本特征留给层。在我们的工作中，我们将许多公司的每日资产收益率插入瓶颈网络，并寻找适合系统风险的因素。类似的想法经常出现在不同的领域（参见Mikolov等人[32]，Heaton等人[20]），但据作者所知，将想法与衡量系统风险联系起来的论文（如有）尚未出现。对于FNN和RNN等确定性网络，随机神经网络不容易通过简单的反向传播进行训练。解决该问题的关键概念是Kingma和Welling[29]中提出的所谓重新参数化技巧，该技巧已在NNFM的设计过程中得到反映。1996 2000 2004 2008 2012 2016年时间（年）0.100.050.000.050.101997 2001 2005 2009 2013 2017年时间（年）0.000.010.020.030.040.05图2：该图显示了数据期间标准普尔100指数（左）及其30天历史波动率（右）的每日回报率。4、实证分析在本节中，我们将NNFM与第2.2小节中的参数因子模型在衡量系统风险的绩效方面进行比较。我们用MODEL\\u NAME（nz）表示模型，系统因素的数量nz设置为不超过2，以便归纳zt与风险之间的直观关系。表中列出了以下12个模型：8个参数因子模型（APT（1）、L-SVFM（1）、SR-SVFM（1）、APT（2）、LSVFM（2）、SR-SVFM（2）、APT-L（2）、APT-SR（2））和4个基于网络的模型（NNFM（1）、NNFM（2）、M-NNFM（1）、M-NNFM（2））。如上所述，我们希望通过许多资产的每日收益率来找出系统因素。为此，我们收集了标准普尔100指数组成部分中81家（=nx）公司的每日回报，其中包括从1997年5月16日至2018年3月13日的5240天数据。然后，我们对t=1到t=t这段时间内的日期进行编号。

根据从欧洲债务危机中选择的划分日期Td（2011年8月10日），数据x≤分为训练数据x（1）≤T（：={x，···，xTd-1} ）的前3582天数据（68.4%）和测试数据X（2）≤T（：={xTd，···，xT}），最后1658天的数据（31.6%）。这19种成分被计算出来，因为它们的库存是最近才列出的，无法提供足够的数据。有关公司列表，请参见附录A中的表格，其中总结了其符号和部门。图2显示了数据期间标准普尔100指数（左）的日收益率及其30天历史波动率（右）。正如人们所看到的，几场危机影响了美国市场；亚洲金融危机（1997-1998）、Dot com泡沫（2000-2002）、抵押贷款危机（2008-2009）、欧洲债务危机（2010-2011）和中国股市动荡（2015-2016）。根据30天的波动率，标准普尔100指数受抵押贷款危机的影响最大。表1列出了标准普尔100指数（上）及其组成部分（下）的日收益率统计数据。下表显示通过再次处理组件的统计信息而获得的统计信息。例如，表中的值-2.27表示组件最差回报的偏度。上表显示了指数收益无条件分布的典型值；轻微负偏度和强峰度。相反，组成部分收益的统计特性不能封装为几个字。例如，蓝筹股公司的回报是正偏态的，而不太成功的公司的回报是负偏态的。由于分布彼此不同，一种模型可能很难涵盖所有组件的动态（例如，所有资产都遵循GARCH（1,1）的信念对我们来说似乎很天真）。

这意味着需要非参数模型，如NNFM。我们推导了近似后验概率q（z≤T | x≤Tφ） 对于具有VI的模型，参数Θ。具体而言，我们通过最大化变分下界L（Θ，φ；x（1））来确定Θ和φ≤T） 对于培训数据x（1）≤Tand随后计算L（Θ，φ；x（2）≤T） 对于试验数据x（2）≤T、 这是通过Tensor FLOW实现的，Tensor FLOW是谷歌开发的深度学习框架。在学习过程中，我们将nh=3NZ，并让每个FNNforhttps://www.tensor流量。orgMin Q1 Q2 Q3最大M1 M2 M3 M4-9.19e-2-5.11e-3 5.50e-4 5.91e-03 1.07e-1 2.25e-4 1.21e-2-1.88e-1 7.48e+0（a）标准普尔100分钟每日收益统计Q1 Q3最大M1 M2 M3 M4Min-4.07e-1-1.25e-1-8.34e-2-6.46e-2-3.84e-2-1.04e-1 6.34e-2-2-2.27e+0 6.29e+0Q1-6.07e-3-4.35e-3-3.77e-3-3.28e-3-2.45e-3-3.90e-3 8.33e-4-4.96e-1-1.67e-1Q2-3.35e-5 7.68e-5 1.44e-4 2.10e-4 3.89e-4 1.44e-41.05e-4 2.61e-1-5.42e-1Q3 2.79e-3 3.71e-3 4.14e-3 4.71e-3 6.83e-3 4.30e-3 8.86e-4 6.93e-1 3.34e-1Max 3.76e-2 5.94e-2 7.20e-2 9.51e-2 2 2.72e-1 8.25e-2 3.93e-2 2 2 2.37e+0 7.12e+0M1-1.79e-4 1.32e-4 1.75e-1 4 2.26e-4 5.55e-4 1.85e-4 1.02e-4 6.36e-1 4.00e+0M2 5.27e-3 7.36e-3 8.69e-3 1.03e-2 1.65e-2 9.12e-3 2.41e-3 9.56e-1 5.44e-1M3-4.93e+0-3.54e-1-1.14e-1 6.54e-2 2 2 2 2.62e+0-3.33e-1 9.66e-1-1.97e+07.56e+0M4 3.78e+0 6.89e+0 8.94e+0 1.67e+1 1.51e+2 1.78e+1 2.42e+1 3.55e+0 1.39e+1（b）标准普尔100指数成分股日收益率统计表稳定1：这些表列出了标准普尔100指数成分股日收益率（上）及其成分股日收益率（下）的统计数据。下表显示了通过再次处理组件的统计信息而获得的统计信息。例如，组件最差回报的偏度为-2.27。缩写Mn代表第n个矩；期望值（M1）、偏差（M2）、偏度（M3）和峰度（M4）。

这里的峰度基于Fisher的定义，也就是说，正态分布的峰度为零。NNFM有一个隐藏层。此外，ADAM优化器（Kingma和Ba[27]）用于找到L（Θ，φ；x（1）的良好局部极值≤T） 。在2000个时期内，以50号小批量重复学习迭代（有关小批量和大批量等术语，请参阅Goodfello等人[18]）。在下文中，我们使用VI的两个标准：边际对数似然（MLL）对数pq（φ）（x（k））来评估测量系统风险的模型的性能≤TΘ）和变分下界（VLB）L（Θ，φ；x（k）≤T） 对于k=1，2。因为log pq（φ）（x（k）≤TΘ）对于GFM的大多数规范来说是难以解决的，采用以下基于模拟的近似值：log pq（φ）x（k）≤TΘ≈LLXl=1对数pq（φ）x（k）≤T | z（l）≤TΘ+ 日志pz（l）≤TΘ-日志qz（l）≤T | x（k）≤Tφ,其中，用L表示的模拟数量应足够大。当nz<5时，该方法有效（Kingma和Welling[29]）。图3显示了对数pq（φ）（x（k）≤TΘ）和L（Θ，φ；x（k）≤T） 对于模型。图中所示的数量是两个标准的值除以每个数据的长度。请注意，每个型号的VLBbar不低于MLL杆，因为log pq（φ）（x（k）≤TΘ) ≥ L（Θ，φ；x（k）≤T） 始终有效。同时，我们在附录B中列出了参数因子模型的点估计。关于与所有公司相关的参数，如α0，i，则提供其平均值和偏差。对于单因素模型，APT（1）和M-NNFM（1）优于其他单因素模型。尽管NNFM（1）在x（1）中表现出色≤T、 对于x（2），它的性能有些令人失望≤T、 我们猜测，NFM（1）可能过高，因为任何财务知识都没有纳入模型。