什么使资产有用？

设{yt}为实值离散时间随机过程，{xxxt}为RN值离散时间随机过程，使得联合过程{yt，xxxt}的每一个边缘都允许一个满足上述条件（a）、（b）和（c）的概率密度函数。根据定理3.2，设{ymt，xxxmt}为离散化过程。Thenh（{yt}）=limm→+∞H（{ymt}）- m、 （30）h（{xxxt}）=limm→+∞H（{xxxmt}）- mn，（31）h（{yt}{xxxt}）=limm→+∞H（{ymt}|{xxxmt}）- m、 （32）andI（{yt}|{xxxt}）=limm→+∞H（{ymt}）- H（{ymt}|{xxxmt}）。（33）换言之，如果我们可以估计离散熵率，我们可以估计不同熵率和不同互信息率，从而估计增量差异。有趣的是，与差分熵率不同，差分互信息率实际上是在{yt}离散化和{xxxt}离散化之间的离散/沙农互信息率的极限下获得的，即H（{ymt}）- H（{ymt}|{xxxmt}），作为离散化误差 = 2.-MN转到0.3.4。估计增量多元化差异互信息时间尺度并不总是存在。当过程{yt，xxxt}静止时，保证存在差异互信息时标1/I（{yt}{xxxt}）。因此，在本文的其余部分，我们假设{yt，xxxt}是联合（强）平稳和（强）遍历的[7]。然而，我们注意到，这些假设没有限制性，因为它们不可能在有限样本的实验中失效。为了估计不同的互信息时间尺度（{yt}{xxxt}）=h（{yt}）+h（{xxxt}）- h（{yt，xxxt}），能够从单样本路径（zzz，…）估计任何向量值离散时间平稳遍历随机过程h（{zzzt}）的熵比是很有效的。

，zzzT）；这就是我们讨论的重点。考虑到差异互信息率通过重标度是不变的，我们假设{zzzt}的协调过程都具有相同的方差πe，大多数（如果不是全部的话）平稳性统计检验会做出额外的假设，例如过程是AR（p），这一事实是流行的单位根检验（如DickeyFuller、Phillips Perron等）所依赖的。这些测试假设要测试的样本跨越的时间范围比底层进程的内存长。因此，当其中一个平稳性测试通常失败时，多个假设中的一个可能是错误的：基础过程的记忆可能比样本量长得多，或者说样本可能太短，无法描述基础过程，或者差异模型（例如AR（p））可能不适合基础过程，或者该过程可能是非平稳的。从单位根测试失败中得出非平稳性的唯一方法是将其他假设视为公理，在这种情况下，测试不再是平稳性测试（即非平稳性为唯一无效假设的测试），而是完全假设是非平稳性的组合，一种特殊的差异模型，并且假设底层进程的内存不超过测试样本的范围。持怀疑态度的读者可能会发现，用平方指数方差函数γ（u，v）=exp模拟平均零高斯过程很有用-（u）- v） /10在[0,1]上，请注意，绘图很可能无法通过任何平稳性测试，与网格的网格大小无关，因此与样本大小无关，即使它们是从平稳过程模拟的。

怀疑论者readerwould还指出，如果使用[0100]上的samplessimulated运行相同的测试，他们可能会通过传统的平稳性测试。如果需要，我们会相应地规范化样本路径（zzz，…，zzzT）。我们对方差进行了这种特殊的选择，以简化估计的解释和调试。实际上，在这个约束下，h（{zzzt}）≤ 当且仅当i{zzzt}是无记忆的，也就是说它的样本是独立的，ii）它的坐标过程是独立的，iii）它是阿加西过程，等式成立。估计的熵率高于n表示存在实现缺陷。严格低于n的估计熵率表示时间依赖性（记忆）、交叉依赖性或非高斯性。在下文中，我们讨论并比较了三种估计方法，即第3.4.1节中的无模型估计、第3.4.2节中的非参数估计和第3.4.3节中的最大熵估计。无模型方法不假设{zzzt}的差异。非参数方法不假设{zzzt}差异的参数模型，而是假设为高斯过程。最后，最大熵方法采用了同名的建模原则，该原则规定，在所有与经验证据一致的模型中，除了已观察到的以外，应始终选择对所有事物最确定/最无知的模型。3.4.1. 无模型估计我们从第3.3节回忆起，可以通过首先离散输入过程，然后估计离散化过程的离散熵率，最后调整离散化精度来估计不同熵率。

我们还注意到，当输入过程是强遍历平稳的时，其离散化也是如此。随机源发射的字符序列的复杂性概念与发射源的离散熵率紧密耦合。特别令人感兴趣的是[8]中介绍的Lempel-Ziv复杂性（我们在清单1中提供了一个Python实现）与平稳遍历过程的离散熵率（我们在下面回忆）之间的联系。定理3.3。设{aaat}是一个离散时间平稳遍历随机过程，取一个可数集a中的值，且具有离散熵率（{aaat}）。如果我们表示这个过程长度T的样本路径的Lempel-Ziv复杂性（如清单1所示），那么h（{aaat}）=limT→∞c（T）logTTa。s、 （34）推论3.3。设{aaat}是一个离散时间平稳遍历随机过程，取可数集a中的值，使得0<H（aaat）<∞.让我们考虑一条具有LempelZiv复杂性c（T）的路径（^aaa，…，^aaaT）。设^aaait为1≤ t型≤ 支架1≤ 我≤ k是从随机均匀抽样的{aaa，…，aaaT}中独立抽取的，用替换，并让我们表示ci（T）序列的Lempel-Zivcomplexity（^aaai，…，aaaiT）。那么对于k>1，H（{aaat}）H（aaat）=limT→∞c（T）kPki=1ci（T）a.s.（35）证明。提示：对于每个i，H{aaait}= Haaait公司=H（aaat）=极限→∞ci（T）logTTa。s、 总之，c（T）logtti是离散熵率的一致估计。然而，在实践中，我们发现定理3.3的收敛速度比推论3.3的收敛速度慢。因此，我们选择估计给定字符序列asH（{aaat}）的离散熵率≈^H（aaat）c（T）kPki=1ci（T），（36），其中^H（aaat）=-Xipilogpiand术语表示（^aaa，…，^aaaT）中不同符号出现的频率。

方程（36）的估计是对每k的离散熵率的一致估计，但较大的k有助于减少估计方差。最后，利用第3.3节的结果，我们可以估计任何向量值平稳遍历过程的差异熵率，因此我们可以估计增量差异。我们强调，除了遍历性和平稳性之外，这种方法不需要替代任何关于{yt，xxxt}差异的假设，在这种意义上，它是无模型的。算法1提供了一个摘要。离散化精度m的选择：推论3.2和3.3保证了算法1的收敛到真实熵率，因为两者都需要达到一致性。然而，对于给定的样本量T，正如实际情况一样，估计误差随m变化很大。m太小，推论3.2中的估计误差将很大。过大的m和离散化的样本将具有不同的特征，无论其来源如何，其Lempel-Ziv复杂性将是样本大小集，并且我们对熵率的估计（接近logT）将超调（见图（1a））。在实践中，我们发现-Qπ和Qπ之间的误差在一系列样本量中都很好。数据效率：当输入过程的维数较大时，在应用此方法之前应小心。事实上，如果我们表示在输入Rn值过程{zzzt}的协调过程的离散化中我们期望看到的不同字符的数量，那么{zzzt}的离散化可能需要多达个和有限个字符。我们注意到，尽管 即使对于中等n（例如，n≈ 30）因此，所有字符in（^zzz，…，^zzzT）都将是不同的，并且c（T）和ci（T）都将等于T，而不考虑潜在来源的影响。

图（1b）的实验很好地说明了这一问题。我们从标准高斯白噪声中生成了10个独立的绘图，每个绘图的样本大小T=100。图（1b）说明了Lempel-Ziv复杂度和样本量之间的比率随维数的变化。可以看出，对于n=1，Lempel-Zivcomplexity小于样本大小的一半，但是对于n=3，它增加到样本大小的95%左右。从n=5开始，所有字符都是不同的，c（T）=T。一般来说，对于较大的n，达到令人满意的估计精度所需的样本大小T可能非常大。根据经验，估计的熵率接近于log（T）- mn表示样本尺寸太小。可扩展性：算法1与样本量T和输入过程的维数n呈线性扩展。然而，正如前面所讨论的，准确估计所需的样本数T本身取决于n。对于固定的估计精度，所需的样本数T以及由此产生的时间复杂度，在n.3.4.2中通常会呈指数增长。计算熵率的非参数估计分析公式并不总是可用的。然而，当{zzzt}是平稳高斯过程时，它的熵率存在且以闭合形式存在。更准确地说，如果我们表示Γ（h）：=Cov（zzzt，zzzt+h）的自协方差函数{zzzt}，如果我们假设+∞Xh公司=-∞||Γ（h）| |<+∞,其中| |.| |表示任意矩阵范数，则矩阵值谱密度函数g（ω）：=2π+∞Xh公司=-∞Γ（h）e-ihω（37）定义良好，与自协方差函数形成傅里叶对，Γ（h）=Z2πg（ω）e-ihωdω（38），熵率读数：h（{zzzt}）=4πZ2πlogdet4πeg（ω）dω。

（39）因此，在平稳高斯情况下，可以通过首先估计光谱密度函数，然后使用方程（39）来估计熵率，其中积分可以数值近似。谱密度函数的原始估计量是周期图[0，2π]的分段常数扩展，定义为^g（ωk）=2πdkd*k（40）带DK=√TTXt=1ZZTE-i（t-1） ωk，其中d*k表示dk的复共轭的转置，对于ωk=2πkT，k=0，bTc。周期图不是一元标准高斯白噪声的（a）Lempel-Ziv复杂度的一致估计，该复杂度是离散化精度m的函数，与样本量（T=100）成比例，并在1000次随机抽取中平均。（b） 多元标准高斯白噪声的Lempel-Ziv复杂度是序列n个数的函数，离散化精度m=1.58，与样本量成比例（T=100）。图1：离散时间序列的Lempel-Ziv复杂性与输入维数和离散精度的函数关系。光谱密度函数。由于平滑，它通常会得到改进并保持一致。回顾谱密度估计方法超出了本文的范围。关于平滑周期图的更详细讨论，请参阅参考文献[10，11]。备注3.6。高斯假设可以通过假设{yt，xxxt}可能不是高斯的，但存在一个映射φ，使得随机过程{cfcfνt}：={（yt，φ（xxxt））}是高斯的、平稳的和遍历的。

然后，可以以闭合形式获得{ИИИt}的周期图及其平滑版本，并且仅取决于{yt，xxxt}的谱密度函数和由特征映射φ诱导的再生核，这使我们能够通过kerneltrick考虑可能的有限维特征空间（有关更多详细信息，请参见[12]）。至于核的选择，文献[13]中的广义谱核提供了一个可证明为任意可变的族。方程式（39）可用于估算I（{yt}；{φ（xxxt）}），虽然通常与I（{yt}；{xxxt}）不同，但可作为增量差异的代理。如前所述，如果特征映射φ被选择为平滑双射，则I（{yt}；{φ（xxxt）}）=I（{yt}；{xxxt}）。数据效率：与无模型情况一样，当输入过程的维数n太大，但原因不同时，在应用此方法之前应小心。这里的理由是，估计谱密度函数通常与维数n的标度很差，很难处理T n、 为了使用这种方法估算增量差异，操作员可能会发现，首先使用一种广泛的可用技术（例如PCA和kernelPCA【14】、GP-LVM【15】、自动编码器【16、17】、流形学习【18、19、20】等）来降低{xxxt}的维数是有用的，然后使用{yt}和压缩版本{xxxt}之间的差异互信息时间尺度作为增量差异的代理。

在第3.5节中，我们提出了一种更具数据效率的增量分布近似值，因为它不需要估计大尺寸谱密度函数。可伸缩性：由于需要在多个频率上计算et[g（ω）]以数值计算方程（39）中的积分，时间复杂度以维度n为单位缩放立方体，并且由于计算平滑的周期图，时间复杂度与T呈线性关系。当n较大时，方程（39）中的积分计算成本非常高，贝叶斯求积[21]可以证明比传统求积技术更有效，因为它通常会导致更少的函数计算。类似地，内存需求与n成二次比例，与T成线性比例。总的来说，这种方法不能像现在这样扩展到非常大的n。在第3.5节中，我们提出了增量差异的近似值，该非参数方法可以扩展到非常大的n.3.4.3。最大熵估计我们的最后一种估计方法是基于E.T.Jaynes在[22，23]中首创的最大熵原理。最大熵原理指出，当面临一个估计问题时，在所有与经验证据一致的模型中，人们应该总是选择一个对任何事情都最不确定/最不了解的模型，而不是已经观察到的模型。给定向量值离散随机过程{zzzT}的样本路径（^zzz，…，^zzzT），样本自协方差函数定义为^C（h）=TPTt=1+h（^zzzt-(R)zzz）（^zzzt-h类-(R)zzz）T，如果h≥ 0^C(-h） T，如果h<0且'zzz=TPTt=1^zzzt}，则为{zzzt}的自方差提供了可靠的经验证据，因为它是其一致且渐近无偏的估计量[24]。

至于测量其他事物的“不确定性/无知”，熵率恰好是用于此目的的标准度量。Burg的最大熵定理【6，25】，如下所示，为自方差约束下离散时间平稳过程的最大熵优化问题提供了答案。定理3.4。设{zzzt}为平稳的Rn值离散时间随机过程。在所有（矩阵值）自方差函数与{zzzt}从滞后h=0到滞后h=p的自方差函数一致的平稳过程中，p阶平均零高斯向量自回归过程（VAR（p））的熵率最高，我们得到h（{zzzt}）=nlog（2πe）+logdet（∑p）det（∑p-1),其中，∑pis是块矩阵，∑p[i，j]：=Cov（zzzt+i，zzzt+j）（41）：=C（i- j） ，带有0≤ i、 j≤ p、 因此，估计微分熵率的最大熵方法包括首先计算相应的样本自协方差函数，然后选择最大滞后作为p，我们可以在有限样本量T下可靠地估计自协方差项。这在算法3中进行了汇总。具体而言，按照[26]的标准方法，我们使用p=T.备注3.7。定理3.4相当深刻。它指出，在假设为一般的自协方差项的情况下，建模随机过程最有原则的方法是遵循非常简单且研究充分的扩散模型，该模型的熵率是封闭形式的。然而，需要注意的一点是，在其他约束条件下，例如更高的样本矩（例如。