利用最大熵方法提高时间序列的可预测性

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Improving predictability of time series using maximum entropy methods》
---
作者：
Gregor Chliamovitch, Alexandre Dupuis, Bastien Chopard, Anton Golub
---
最新提交年份：
2014
---
英文摘要：
  We discuss how maximum entropy methods may be applied to the reconstruction of Markov processes underlying empirical time series and compare this approach to usual frequency sampling. It is shown that, at least in low dimension, there exists a subset of the space of stochastic matrices for which the MaxEnt method is more efficient than sampling, in the sense that shorter historical samples have to be considered to reach the same accuracy. Considering short samples is of particular interest when modelling smoothly non-stationary processes, for then it provides, under some conditions, a powerful forecasting tool. The method is illustrated for a discretized empirical series of exchange rates.
---
中文摘要：
我们讨论了如何将最大熵方法应用于经验时间序列下马尔可夫过程的重构，并将这种方法与通常的频率采样进行了比较。结果表明，至少在低维情况下，随机矩阵空间中存在一个子集，在这个意义上，MaxEnt方法比抽样更有效，即必须考虑较短的历史样本才能达到相同的精度。在对平稳非平稳过程建模时，考虑短样本尤其重要，因为在某些情况下，它提供了一个强大的预测工具。该方法适用于离散化的汇率经验序列。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--
一级分类：Physics        物理学
二级分类：Chaotic Dynamics        混沌动力学
分类描述：Dynamical systems, chaos, quantum chaos, topological dynamics, cycle expansions, turbulence, propagation
动力系统，混沌，量子混沌，拓扑动力学，循环展开，湍流，传播
--
一级分类：Physics        物理学
二级分类：Data Analysis, Statistics and Probability        数据分析、统计与概率
分类描述：Methods, software and hardware for physics data analysis: data processing and storage; measurement methodology; statistical and mathematical aspects such as parametrization and uncertainties.
物理数据分析的方法、软硬件：数据处理与存储；测量方法；统计和数学方面，如参数化和不确定性。
--

---
PDF下载：
-->

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：时间序列 最大熵 预测性 Quantitative Mathematical

使用最大熵方法提高时间序列的可预测性Regor Chliamovitch，1,2，*Bastien Chopard、Alexandre Dupuis和Anton Goluba瑞士日内瓦大学瑞士计算机科学系日内瓦大学理论物理系（日期：2018年9月18日）我们讨论了如何将最大熵方法应用于经验时间序列下马尔可夫过程的重建，并将这种方法与通常的频率采样进行了比较。结果表明，至少在低维情况下，存在随机矩阵空间的一个子集，对于该子集，MaxEnt方法比抽样更有效，因为必须考虑较短的历史样本才能达到相同的精度。在对平稳的非平稳过程建模时，考虑短样本尤其重要，因为在某些情况下，它提供了一个强大的预测工具。该方法以离散化的汇率经验序列为例进行了说明。现代科学的一个突出问题是，实验数据的收集频率越来越高，这对我们从这些数据流中塑造合理图像的能力提出了越来越大的挑战，并使得开发统计工具成为必要，从而提供对现象的实时理解。

我们打算在这里讨论这个问题的一个简单例子：假设我们观察到一个由未知马尔可夫动力学驱动的时间序列，那么重建这个基本动力学最有效的方法是什么？第二次，我们将重新考虑时间序列不是由马尔可夫过程生成而是由马尔可夫过程建模的问题，并将其推广到非平稳情况。解决这个问题的简单方法是考虑一个历史窗口，从该窗口通过计算发生的跃迁来推断跃迁概率。我们将转而采用一类统计方法，称为最大熵（MaxEnt）方法。Jaynes[1–3]将这种方法介绍给物理学家，试图将统计力学从超越第一原理的物理假设中解放出来（因此我们指的是与遍历假设相关的任何假设），并解开其物理和统计方面。该方法的目的是在部分知识的基础上，使用合适的分布是在满足一组约束条件的同时具有最大熵的一个分布的准则，建立通用概率分布。一个经典的例子是吉布斯正则分布，它是与受约束的平均能量相关的最大熵分布。最近，这种方法已经成功地应用于从神经科学到语言学的其他系统[4-7]。虽然这似乎很少做到[8]，但这种方法可能会被转移到马尔科夫随机过程的领域。然而，调整是必要的，因为考虑过程的某些给定子序列的联合熵似乎是任意的；我们应该避免最大化熵率（或每符号熵）h=-PijuiWijln Wij，其中Wijdenotes表示从状态i过渡到状态j的概率，以及u静态分布。

不幸的是，u本身依赖于W，这使得计算更加复杂。解决方法[8]是最大化η：-xijpiwijn-Wij（1），其中p是一些保持独立的分布。通过施加详细的平衡条件piwij=pjWji，可以确保p最终是平稳分布i、 换句话说，我们最终得到以下三个结构约束：Xipi=1，XjWij=1，piWij=pjWji。（2） 为了得到一个非平凡的过程，我们可能要测量的一个简单量是时间序列的自相关，考虑一步自相关，计算就变得特别容易处理。因此，如果约束一步自相关，即[9]Xijxixjp（i，t；j，t+1）=xijxixjpij=A。（3）对于（2）和（3）给出的约束，MaxEntmethod需要最大化η+αXipi+XiβiXjWij+Xijγij（piWij）- pjWji）+λXijxixjpiWij，（4）其中α、βi、γij和λ是与各自约束相关的乘数。在系统Wmeiwmejj=exp中，推导（4）关于piand Wijand等式的零结果λi- λj（5） wmeiwmejjwmeijwmeji=expλ（i）-j）. （6） 一般来说，必须在数值上找到WMEij，这在计算上可能很困难。为了关注该方法中与统计推断相关的方面，我们将把自己限制在2和3个状态的情况下，WMEI很容易快速找到。这些案例足以涵盖许多令人感兴趣的情况，因为许多模型都涉及这种二元化或三元化状态（对于下面考虑的金融模型，这将对应于市场的上涨、下跌或波动[10]）。我们现在关注的是编码为±1的两个状态的情况。让A表示过程的自相关，最大转移矩阵isW（ME）=1+A1-A1-A1+A.

（7） 现在我们证明了2×2随机矩阵空间中存在一个子集，当我们只有短样本时，MaxEnt方法更能有效地估计W。我们详细介绍了系数W的计算--, 其他三个类似。由于行为良好的过程的样本自相关遵循中心极限定理[11]，我们假设从大小为n的样本中测量的样本自相关a（n）按照n（a，n）正态分布-1). 根据（7）可知，W的估计存在误差--使用MaxEnt方法将其分布为N（1+A）- W--, （4n）-1).因此，该误差的绝对值服从折叠正态分布，其平均值和标准偏差由[12]：h给出|喵--|i（n）=e-2nu--√2πn+u--1.-2Φ-2.√nu--（8） σ（n）(|喵--|) =ru--+4n-h|W--|我,（9） 在哪里--=1+A- W--Φ表示标准正态累积分布。我们同样可以在估计W时提供所犯错误的估计--通过频率采样。可以证明，从尺寸为n的窗口中取样的系数按照吨（W）正态分布--,W--(1-W--)NP-) p在哪里-表示处于状态的平稳概率-1，在当前设置中由p给出-=1.-W++2-W---W++。按照之前的相同步骤，W上的采样绝对误差--平均值和偏差：h|西南--|i（n）=s2W--(1 -W--)πnp-（10） σ（n）(|西南--|) =s1.-πW--(1 -W--)NP-. （11） 因此，我们需要确定精度增益（n）--:= h|西南--|)i（n）- h|喵--|i（n）（12），当MaxEnt方法提供更好的W估计时，它是正的--对于大小为n的样本，比频率采样做得更多--cbe n的值，高于（n）--变得消极。尽管NIJC取决于效率，但人们可能希望为所考虑的NCW矩阵定义一个全球NCW矩阵。

虽然保守的选择是在所有系数中选择最小值，但只要相应的转换几乎不发生，我们就不会对其中一个系数进行错误的估计，因此将nc（W）定义为所有nijc的总和，并由平稳分布加权。数量nc（W）通过数值计算得出，并绘制在图1中，在2×2随机矩阵的空间中，由（W）参数化--, W++）。注意，靠近对角线的NCI很大，但当远离对角线时，NCI会衰减。这意味着，使用MaxEnt可以更好地估计与结构（7）“兼容”的矩阵，而对于不适合该结构的矩阵，采样将更充分。表示M（n）矩阵集合，使得nc（W）≥n和u（n）与M（0）（所有2×2随机矩阵的空间）相比，M（n）的相对大小，那么对于给定的状态空间，MaxEnt方法的相关性显然将严重依赖于函数u（n）。在两态情况下，可以从图1中看出，M（50）集中在对角线周围的一个区域，因此u（50）≈ 0.15，这意味着对于大小小于n=50的样本，对于所有可能过程的15%，最大估计值优于频率采样估计值。然而，我们应该注意到，人们可能想要应用该方法的过程不太可能随机分散在[0,1]上，而是具有大熵的过程，即低可预测性。这往往会将我们的兴趣集中在[0,1]的中心区域，并增加有效u（n）。0.0.2 0.4 0.6 0.8 1.0W（-）-0.00.20.40.60.81.0W（+，+）510152025035405500图。1:nc（W）在由W参数化的2态随机矩阵空间上绘制--, W++10 20 30 40 500 20 40 60 80nu（n）0.8hmax<h≤ hmax0。6hmax<h≤ hmax0。4hmax<h≤ hmax0。2hmax<h≤ hmax0。0hmax<h≤ hmaxFIG。

2：有利的三状态矩阵与样本量的百分比。绘制了各累积五分之一熵率的曲线。虽然u（n）显然会随着状态空间的维数而变化，但很难建立一个通用的参数来显示当状态空间变大时u（n）是如何变化的。直观地说，在高维空间中进行有效的频率采样需要非常长的样本，因此人们会期望MaxEnt在高维空间中优于采样。为了说明这些点，我们考虑在过程熵率分布的每个累积五分位数中随机出现的三态过程。图2通过强调具有大熵率的过程更适合我们的方法，展示了我们方法的有效性。此外，我们观察到u（50）似乎低于10%，这似乎证实了我们的直觉，即MaxEnt应该在高维状态空间中表现更好。500 1000 1500 2000 2500 3000 3500 4000 4500 5000t0。10.20.30.40.50.60.70.80.9W——（t）图3：真实系数W的比较--（t） （红色）及其最大（蓝色）和采样（黄色）估计值，用于实现（13）中描述的玩具过程。只要只考虑平稳过程，马克森方法实际上是有限的兴趣，因为没有什么能阻止使用任意长的样本。当动力学本身随着时间的推移而变化时，情况就大不相同了，因为那时就需要快速估计动力学参数。

根据我们之前的结果，关键点如下：如果系数在M（τ）范围内演化，其中τ是动态参数变化的典型时间尺度，那么MaxEnt提供了比采样点更快的瞬时动态估计。应该强调视角的变化：虽然最大熵方法本质上是平稳的，但我们现在将其应用于非平稳过程，通过（希望）有效的马尔可夫过程在时间上对其进行局部近似。图3对时变转移矩阵xw（t）生成的两态过程给出了这种方法的定性说明=0.6+0.1 sin2πtT0.4-0.1罪2πtT0.4-0.1罪2πt1。2T0.6+0.1 sin2πt1。2T,（13） 式中T=500。由于振荡周期相对较短，考虑样本超过几倍的时间单位将给出无意义的平均结果。图中显示，对于sizen=50的滑动窗口，最大估计值（以蓝色显示）提供了系数W的更好匹配--（t） （红色）。特别是，它避免了SamplingSimate（黄色）显示的大偏差。现在，我们将注意力转向一个实证应用，该应用旨在量化金融资产的风险，从而估计其收益尾部分布。为方便起见，我们选择考虑2009年1月1日至2012年1月1日期间的欧元/美元价格系列。通过定义rt=（pt- pt-1） /pt-1其中PTI是时间t的价格，每15分钟提取一次数据。通过根据toxt离散化收益，建立了一个三态时间序列XT=-1如果rt<-如果rt>0.01%，则为0.01%+1，否则为0。（14） 用三状态马尔科夫链对离散时间序列建模，我们用MaxEnt方法估计转移矩阵。

这允许计算当前时间t之前的分布s步数，即qt+s（k | i）=Pi，·isWi，i··Wis-1，Isk=i+·Is，其中iτ∈ {-1,0，+1}是时间t+τ的状态。为了评估分布q尾部的质量，我们定义了其第一个和最后十个对称的[13]百分位数πk，k=1。。。，10，并将它们与实际落入百分位数的分数^πkof进行比较。然后计算平均误差 =Pk=1 |πk- ^πk |/πk.图4显示，作为样本长度n的函数，平均误差 使用MaxEnt（正方形）和采样（圆形）方法获得。根据我们的预期，我们观察到，对于小于n=40的样本长度，MaxEnt优于Sampling。有趣的是，我们注意到，对于较长的样本，采样误差似乎会增长，并偏离最大误差，正如上文所讨论的，我们认为这是一种超平均效应。图4还显示，假设所有变换都是等概率的，非知情猜测（三角形）的性能总是优于MaxEnt。这突出表明，表现出低相关性的财务流程似乎适合我们的程序。值得注意的是，MaxEnt方法在这种情况下被证明是相关的，因为与我们之前的玩具动力学相反，潜在的动力学很可能不会平稳变化，也不会在适用于MaxEnt过程的随机矩阵空间的子空间中演化。总之，我们已经展示了如何将最大熵方法应用于马尔科夫过程。当只有短样本可用于推断时，该方法可以更准确地估计过渡参数。然而，只有在对税收程序施加的结构进行评估的过程中，这才是正确的，但我们认为，许多利益过程确实满足这一性质。

当处理随时间变化的过程时，该方法的全部力量就会显现出来；然后，在与静态情况相同的条件下，MaxEnt提供了一个更快的动态参数实时估计。我们用经验数据说明了这种方法的相关性，与结果20 40 60 800.2 0.4 0.6 0.8n相比，我们对预测的轨迹分布的尾部有了更好的估计maxEntsamplingW=1/3图。4：厚尾分布估计的平均误差，作为样本量的函数。使用了MaxEnt（正方形）和采样（圆形）方法，以及假设所有等概率变换的天真猜测，Wij=1/3i、 j（三角形）。使用简单的抽样方法获得。需要强调的是，只要我们能够处理MaxEnt算法的额外复杂性，我们的方法可以通过实现超出此处所考虑的简单一步自相关的约束来获得相当大的改进。作者希望感谢欧盟第七框架计划根据317534号赠款协议提供的资金。*格雷戈。Chliamovitch@unige.ch[1] E.T.Jaynes，Physical Review 106620（1957）[2]E.T.Jaynes，Physical Review 108171（1957）[3]T.Cover和J.Thomas，《信息论的要素》（威利国际科学出版社，纽约，2006）[4]E.Schneiman，S.Still，M.J.Berry和W.Bialek，Physical Review Letters 91（2003）[5]E.Schneiman，M.J.Berry，R.Segev和W.Bialek，Nature 440，1007（2006）[6]G.J.Stephens和W.Bialek，《物理评论》E 81（2010）[7]G.J.Stephens、T.Mora、G.Tkacik和W.Bialek，《物理评论快报》110（2013）[8]E.Van der Straeten，熵11，867（2009）[9]在信号处理领域，通常不居中或归一化地定义自相关。[10] J。