因果网络

HJtest及其变体[25]，[26]在计量经济学中相当成功；揭示货币与收入[23]、股票总收益与宏观经济因素[27]、货币未来收益[28]与股票价格与交易量[22]之间的非线性因果关系。令人惊讶的是，尽管有明确证据表明线性测试通常在揭示非线性因果关系方面的能力较低[22]，[28]，但非参数测试的应用在金融、或宏观经济利益以外的领域受到了限制。2.本研究的贡献HJ测试及其变体专门设计用于在预先指定的显著水平上检测格兰杰因果关系的存在；没有明显的扩展，可以从手头的数据中提炼出这种相互依赖的生成性非线性模型。我们留下的是一个黑匣子里的甲骨文——它在回答问题时没有洞察到被调查系统的动态结构。另一方面，基于线性回归的方法以及参数非线性方法有一个明显的优势；它们产生了观察变量之间因果影响的生成模型。希姆斯特拉的建议是将非参数测试纯粹视为揭示系统动力学中非线性存在的原子工具；将详细研究动力结构的任务留给基于参数模型的方法：尽管本文提出的因果检验的非线性（非参数）方法可以检测出高功率的非线性因果关系，但它没有提供关于非线性依赖来源的指导。这样的指导必须留给理论，理论可能会提出特定的参数化结构模型。-希姆斯特拉等人。

[22]这可能是将[22]中的HJ检验应用于估计线性自回归模型的误差残差背后的动机；通过使用回归移除线性结构，作者得出结论，任何额外的因果影响都必须是非线性的。然而，在我们不愿意先验地指定任何动态结构的情况下，要求因果交叉依赖的生成模型是完全不合理的吗？当前工作的中心目标是表明这样一项工作确实富有成效；从对两个变量的连续观察开始，我们可以推断出因果影响的非启发式生成模型，而不预设隐藏的线性或非线性动力学的性质。然而，这是一项非常重要的工作；如果我们要考虑到动力学模型具有不特定且不受限制的结构，我们需要重新思考进行此类引用的框架。众所周知，如果对数据源的统计性质[11]缺乏至少一些广泛的假设，尤其是在基本统计参数的时间或顺序变化的性质上，这项任务是不可能实现的。我们将自己局限于遍历和固定的数据源，并另外假设数据流采用的是单元集内的值；i、 例如，我们只考虑遍历的、平稳的量化随机过程（后面给出了明确的定义）。我们简要回顾了一个早期的结果，即遍历平稳量化过程中单个数据流的底层生成器可以表示为概率自动机。然后我们证明，对于两个流，因果影响的生成模型可以表示为广义概率自动机，称为交叉自动机。

然后，我们的任务就简化为在缺乏有关结构和参数的先验知识的情况下，从数据中推断这些交叉机器。我们推断出的非对称机器是可能的；捕获sAto流SBI流入的交叉机器不需要与sBto sA流入的机器相同。此外，我们还表明，数据流之间缺乏因果影响表现为一个平凡的交叉机器，这种平凡的表示在两个方向上的存在对于欠考虑的数据流之间的统计独立性是必要且有效的。我们发现因果依赖生成模型的能力使我们能够进行样本外预测。相比之下，HJ很容易受到Granger反对[11]的影响，即在缺乏有效模型的情况下，人们没有严格遵守Granger因果关系的原始定义，这需要提高预测能力，而不仅仅是分析过去的数据。基于模型的方法可以对预测进行索引和测试，但代价是预先施加的模型结构（见[11]中的建议配方）。与之相反，当前的方法产生了没有预设结构的生成模型；因此，它能够在没有前述成本的情况下执行和测试预测。除了获得观测数据流之间因果关系的显式模型外，本研究还为量化过程（即在有限集合内取值的过程）确定了格兰杰因果关系的新测试。我们的方法涉及计算因果关系γAB的效率，从生成流Sat的过程到生成流sB的过程。

它被定义为流Sb中下一个符号分布的熵的预期变化与流Sat中的观测值之间的比率，与流Sb中下一个符号分布的熵之间的比率，前提是没有对流Sb进行观测。我们表明，γAb在闭合单位区间上取值，值越高，表明SBSA的可预测性越强，即因果影响程度越高。因此，与Granger的因果关系概念一样，γAb量化了观测到的关于sB流中近期未来的额外信息量。我们证明了流sA，sb在统计上是独立的，且仅当γAB=γBA=0时。重要的是，给出γAB=0和γBA>0的例子也很容易，从而说明方向性影响的存在（见图6）。值得注意的是，包括HJ测试在内的最新技术，只是“测试”因果关系的存在；在经典二元假设检验的框架下设置问题。一旦统计上确定了因果关系的存在，就不会试图推断因果关系的程度。也许有人会指出测试通过（或失败）的重要值；但这些测试的统计意义与因果关系的程度无关，至少在任何明显的方面是如此。相比之下，我们对γAb的定义明确地包含了这一概念。

正如我们之前所说，系数越高，表明因果关系越强；γAB=1表示一种情况，在这种情况下，考虑到sA的过去值，SBI的近期符号是确定的，但如果只有Sb的过去值可用，则看起来是完全随机的。虽然HJ检验和因果系数的计算推断对数据施加了类似的假设，但后一种情况下的假设在物理上可能更透明。这两种方法都需要遍历性和平稳性；HJ测试进一步要求过程是绝对规则的（β混合），β系数具有一定的最小渐近衰减率（见[29]，第4页脚注和[24]）。绝对规律性是一个人具有弱依赖性的几种方式之一；本质上意味着一个数据流中两个完全分离的片段几乎是独立的。除了平稳性和遍历性，我们的算法还需要弱依赖性；然而，我们要求过程具有一定数量的因果状态，而不是调用混合系数（见图2）。因果状态是产生类似未来的历史的等价类；因此，一定数量的因果状态决定了我们需要一定数量的历史类别来进行未来的预测。至于算法的计算成本，我们证明了交叉自动机的推理是有效的[30]，即我们可以在渐近多项式时间和样本复杂度下以高概率推断出良好的模型。HJ测试可能具有良好的计算性能；但文献缺乏详细的调查。总之，本文的主要贡献可以概括为：1）引入了一种新的非参数格兰杰因果关系检验方法。

除了二元假设检验，我们量化了观测数据流之间因果影响程度的概念，而不预先假设任何特定的模型结构。2） 结果表明，因果影响的生成模型是可推断的，没有先验的、超越随机性、平稳性和弱依赖形式的动态结构。明示生成模型可用于预测。3） 所提出的算法被证明是高效的。2.1组织本文的其余部分组织如下：第3节阐述了量子化随机过程的概念，以及与概率自动机的联系。本节中的一些材料已出现在其他地方[31]，但出于完整性的考虑，以及一些关键的技术差异和对本节内容的扩展，本节中的一些材料被包括在内。第4节介绍了表示交叉依赖的生成模型的框架；引入交叉概率自拟矩阵。定义了因果依赖的系数，并在此背景下研究了因果关系的方向性。第5节介绍了从单个数据流推断生成自模型的算法。同样，在[31]的前面已经报道了基因，但为了完整起见，这里也包括了基因。第6节介绍了算法xGenESeSS，它从成对的数据流中推断出自动机，作为特定方向因果关系的生成模型。研究了xGenESeSS的复杂性和速度效率。第7节讨论了多个数据流之间因果网络的差异，以及从推断的交叉模型中融合未来的预测。一个简单的应用开发的理论是说明在第？？，其中计算了所选关键字列表的每周搜索频率数据（数据源：Google Trends）之间的因果关系网络。

本文在第9.3节量化随机过程和概率自动机中总结。我们的方法取决于有效地使用概率自动机模型平稳遍历过程。我们的自动机模型与文献[32]，[33]中报道的不同。这种形式主义的细节可以在[31]中找到；为了完整起见，我们在此提供一个简要概述。符号1。∑是一个有限的符号字母表。∑上所有有限但可能无界字符串的集合用∑表示？[12]. ∑上的一组有限字符串构成一个级联幺半群，空字λ作为恒等式。∑上的严格有限字符串集表示为∑ω，其中ω表示第一个反有限基数。对于字符串x，|x |表示其长度，对于集合a，|a |表示其基数。另外，∑d+={x∈ Σ?s、 t.| x | 5d}。定义3（QSP）。QSP H是一个离散的∑值严格统计遍历随机过程，即H={Xt:Xt是一个∑值随机变量，t∈ N∪ {0}（15）如果可以从长时间的实现计算矩，则过程是遍历的；如果矩是时不变的，则过程是严格平稳的。接下来，我们将QSP与PFSA生成器的连接形式化。我们在假设QSP H的多重实现和固定初始条件的情况下发展了该理论。利用遍历性，我们将能够将我们的构造应用于一个足够长的实现，初始条件不再重要。定义4（有限字符串上的σ-代数）。对于∑上的有限元集合，我们定义B为由集合{x∑ω：x生成的最小σ-代数∈ Σ?}.引理1。

每个QSP都会产生一个概率空间（ω，B，u）。证明：假设平稳性，我们可以构造概率测度u：B→ [0,1]通过定义任意序列x∈ Σ?\\{λ} ，以及大量实现NR（假设遍历性）：u（x∑ω）=limNR→∞# 所有长度为|x |的序列的初始发生次数，并通过最多可数和将度量扩展到B\\B的元素。因此u（ω）=Px∈Σ?u（x∑ω）=1，对于空字u（λ∑ω）=u（ω∑）=1。符号2。μx表示简略，μx表示简略。经典上，自动机状态是nerode关系的等价类；两个字符串是等价的，当且仅当字符串的任何一个有限扩展都是所考虑的语言中的两个或其中一个[12]。我们使用概率扩展[34]。定义5（概率内极等效关系）。（ω，B，u）导出了一个等价关系~非有限字符串集∑？作为：x、 y∈ Σ?, 十、~纽约<==> Z∈ Σ?Pr（xz）=Pr（yz）=0_Pr（xz）/Pr（x）- Pr（yz）/Pr（y）= 0（16） 符号3。为了x∈ Σ?, x的等价类是[x]。很容易看出这一点~Nis右不变量，即~纽约=> Z∈ Σ?, xz~Nyz（17）∑上的右不变等价？总是诱导一个自动机结构；因此，概率Nerode关系产生了一种概率自动机：状态是~N、 过渡结构如下：对于状态qi，qj和x∈ Σ?,（[x]=q）∧ （[xσ]=q）=> qσ-→ q（18）在将上述构造形式化之前，我们引入了具有初始状态但没有最终状态的概率自动机的概念。定义6（初始标记PFSA）。

初始标记的概率有限状态自动机（初始标记的PFSA）是一个五元组（Q，∑，δ，eπ，Q），其中Q是一个有限状态集，∑是字母表，δ：Q×∑→ Q是状态转移函数，eπ：Q×∑→ [0,1]规定了条件符号生成概率，以及q∈ QI是初始状态。δ和π递归扩展为任意y=σx∈ Σ?详情如下：Q∈ Q、 δ（Q，λ）=Q（19a）δ（Q，σx）=δ（δ（Q，σ），x）（19b）Q∈ Q、 eπ（Q，λ）=1（19c）eπ（Q，σx）=eπ（Q，σ）eπ（δ（Q，σ），x）（19d）此外，我们对不同的状态qi，qj施加了这一点∈ Q、 存在一个字符串x∈ Σ?, 使得δ（qi，x）=qj，andπ（qi，x）>0。注意，空单词的概率是每个状态的统一。如果指定了当前状态和下一个符号，则我们的下一个状态是固定的；类似于概率确定性自动机[35]。然而，与后者不同，我们在模型中缺少最终状态。此外，我们假设我们的图是强连通的。稍后我们将使用遍历性来消除初始状态依赖。接下来，我们将正式说明aPFSA是如何从QSP中产生的。引理2（PFSA发生器）。每个初始标记的PFSA G=（Q，∑，δ，eπ，Q）在可测空间∑ω，B上产生唯一的概率测度。证明：定义可测空间的集函数∑ω，B）：uG() , 0（20a）十、∈ Σ?, uG（x∑ω），eπ（q，x）（20b）x、 y∈ Σ?, uG（{x，y}∑ω），uG（x∑ω）+uG（y∑ω）（20c）uGis immediate的可数可加性，我们有（见定义6）：uG（∑ω）=uG（λ∑ω）=eπ（q，λ）=1（21），这意味着（ω，B，uG）是一个概率空间。我们将（∑ω，B，uG）称为初始标记的PFSA G引理3（概率空间到PFSA）生成的概率空间。

如果对应于概率空间（∑ω，B，u）的概率Neroderelation有一个fineindex，则后者有一个初始标记的PFSA生成器。证明：设Q为概率节点关系（定义5）的等价类集合，定义函数δ：Q×∑→ Q、 eπ：Q×∑→ [0,1]as:δ（[x]，σ）=[xσ]（22a）eπ（[x]，σ）=Pr（xσ）Pr（x）对于任意选择的x∈ [x] （22b）其中我们递归地将δ，eπ扩展到y=σx∈ Σ?当δ（q，σx）=δ（δ（q，σ），x）（23a）eπ（q，σx）=eπ（q，σ）eπ（δ（q，σ），x）（23b）为验证空字概率，选择一个x∈ Σ?对于某些q，使得[x]=q∈ Q.然后，从等式（75b）中，我们得到：eπ（Q，λ）=Pr（xλ）Pr（x）∈ [x]=>eπ（q，λ）=Pr（x）Pr（x）=1（24）的有限指数~Nimplies|Q|<∞, 因此，将λ表示为q，我们得出结论：G=（q，∑，δ，eπ，q）是一个初始标记的PFSA。引理2表示G生成（∑ω，B，u），这就完成了证明。上述构造为初始标记的PFSA提供了最低限度的实现，这是唯一的状态重命名。引理4（QSP到PFSA）。任何具有有限指数当量的QSP均由初始标记的PFSA生成。证明：从引理1（QSP到概率空间）和引理3（概率空间到PFSA生成器）立即开始。3.1规范表示我们将QSP定义为遍历和平稳，而初始标记的PFSA具有指定的初始状态。接下来，我们引入规范表示来消除初始状态依赖。Weusee∏表示eπ的矩阵表示，即e∏i j=eπ（qi，σj），qi∈ Q、 σj∈ Σ. 我们需要变换矩阵的概念。定义7（转换矩阵）。