因果网络

Weextend结构递归：a）将集合Q初始化为Q={Q}，并将集合xidq=x，hq=φs（x）。b） o对于每个状态q∈ QAB，计算每个符号σ∈ ∑A，找到符号导数φsA，sBxidqσ如果φsA，sBxidqσ- hqσ∞5. 对于一些问题∈ QAB，然后定义δ（q，σ）=q.o另一方面，如果在QAB中找不到这样的qcb，则向QAB添加一个新的状态qtoqab，并且definexidq=xidqσ（153）hq=φsA，sBxidqσ（154）o当每个q∈ Qabha是每个σ的目标状态∈ ∑A.o然后，如果必要，我们使用Tarjan算法[45]确保强连通性输出变形函数π∑Bis由下式给出：Q∈ QAB，eπ∑B（q，·）=hq（155）6.2 xGenESeSS的复杂性&PAC可学习性xGenESeSS的渐近时间复杂性与GenESeSS的渐近时间复杂性基本相同。我们得到了以下直接结果：定理11（时间复杂性）。假设输入流与相应的字母表大小相比更长，xGenESeSS的渐近运行时复杂性为：T=O∑A |（| sA |+| sB |）!（156）证明：根据定理8中的论证，注意到C1对应的步骤（见定理8）取O（1）/（|sA |+|sB |）时间，C2对应的步长为O（1）/|∑B |）时间，对应于C3的步长取O（| Q |∑A |（| sA |+| sB |）时间。引理22（交叉概率自动机的度量）。对于平稳遍历QSP，HAover字母∑A和HB，HBover∑B，let G，Gbe xpfsa分别表示来自HAto HB和来自HAto HB的依赖关系。如果sA、sB、sA、sB分别是由HA、HB、HA、HB生成的流，那么：∑A，∑B（G，G）=supx∈Σ?A（lim |sA |，|sB |，|sA |，|sB|→∞φsA，sBx- φsA，sBx∞)（157）定义了交叉概率自动机空间上的一个度量，该度量表示∑Ato过程对∑B过程的依赖性。证明：见引理17。定理12（PAC可学习性）。

两个遍历稳定QSP HA，HB在各自字母表∑A，HB上的依赖关系与遍历一致的串扰图（定义14）之间的依赖关系可由XGeneses在以下意义上学习：如果G表示真正的XPFSA，则, η>0，xGenESeSS learnsan估计的XPFSA Gwith:PrΘ∑A，∑B（G，G）=< η（158），渐近运行时间为1的多项式/, |sA |+| sB |，1/η。此外，为了满足上述条件，我们需要：|sA |+|sB |=OC | Q | logη！（159）其中C<∞, Q是推断出的XPFSA中的一组状态。证明：根据定理10，等式（158）中的结果来自与定理9相同的论证（使用等式152代替等式67）。样本复杂度也来自同一个论点，其中包括定理11.7因果网络生成中产生的字符串长度之和。定义22中引入了因果依赖系数，以量化第二个码流中下一个符号不确定性的减少，该符号的不确定性来自第一个码流中的观察结果。很明显，这个系数是不对称的，在这个意义上，一般来说，对于两个遍历平稳的QSP HA，HB，我们有：γHAHB，γHBHA（160）。此外，图6中的例子表明，系数确实捕捉到了方向依赖性，即两个过程之间因果关系的方向。我们可以把这个想法扩展到一系列相互依赖的过程中；然后，对成对系数的计算将揭示因果关系可能复杂的流动，从而形成我们所说的推断因果网络。考虑在各自的字母∑i上演化的n个遍历平稳过程集，它们不需要是不同的或具有相同的基数。让这些过程通过满足定义14中所述属性的串扰图相互依赖。

此外，假设相关的跨线等效值具有有限性，这意味着存在编码进程间依赖关系的XPFSA。符号6（过程和推断机器的集合）。我们引入了一些符号来表示相关的推断机器硅∈ Σ?idenotes进程HioHijwith i，j生成的字符串表示进程Hito Hj的XPFSA，其中hij=（Qij，∑i，δij，eπij）（162）o隐藏对进程本身进行编码的PFSA，其中Hi=（Qi，∑i，δi，eπi）（163）oHito Hj的依赖系数表示为γij。我们引入流运行函数，这将简化续集中依赖系数的计算。定义28（流运行功能）。

给定一个强连通的标记图G=（Q，∑，δ）是一个强连通图，其中Qas是节点集，因此有一个标记边qiσ-→ qjforqi，qj∈ Q i ffδ（qi，σ）=qj和字符串s∈ Σ?, 流运行函数ρ（G，s）是长度为| Q |的实值向量，具有i、 ρ（G，s）|i∈ [0,1]和xiρ（G，s）|i=1（164），并使用算法1进行计算。算法1：流运行函数输入：强连通标记图G=（Q，∑，δ），字符串s∈ Σ?输出：ρ（G，s）1初始化长度为| Q | 2的零向量v选择随机节点qk？∈ Q3电流← qk？4 vk？← 15个给我← 1至| s | do6 qcurrent← δ（qcurrent，si）7如果qcurrent==qkthen8 vk← vk+1/*规范化向量*/9表示k← 1至| Q | do10 vk← vk/Pjvj11返回ρ（G，s）← vAlgorithm 2：依赖输入系数的有效计算：, si，sj输出：估计γij的γij//Compute XPFSA1 Compute Hij//Computeφsjλ2 r← [0···0]//长度=|∑j | 3表示k← 如果sj[k]==σ\'then5 r，则为1到| sj | do4`← r`+1//计算分母6小时←|∑j | Xk=1rklog（rk）//计算数值7h← 08 u← ρ（Hij，si）9表示k← 1至| Qij | do10 h[k]←Xσ`∈∑jeπij（qk，σ`）对数eπij（qk，σ`）11小时← h+ukh[k]12返回γij←hh我们需要以下技术结果，以建立流运行功能和定义21中介绍的预计分配之间的联系。引理23（计算投影分布）。让我们∈ Σ?由遍历平稳QSP H生成，具有由潜在概率空间（∑ω，B，u）诱导的有限指数等效性。设编码QSP的最小PFSA编码为G=（Q，∑，δ，eπ）。此外，设G=（Q，∑，δ）是一个强连通图，其中qa是节点集，因此有一个标记边qiσ-→ qjforqi，qj∈ Qi ffδ（Qi，σ）=qj。

那么，我们有：lim | s|→∞ρ（G，s）=a.s.~GGG（165）证明：因为H是遍历且静止的，而G Gis是一个非最小但强连通的实现，它遵循ρ（GG、 s）几乎肯定收敛到唯一的平稳分布关于G的状态空间 G.考虑通过G的路径 在计算各自的流运行函数ρ（G）的过程中，字符串s的G到G G、 和ρ（G，s）。注意到G中状态（q，q）的状态访问次数v（q，q） 向秦国天然气的访问国致辞：Q∈ Q、 vq=Xq∈Qv（q，q）（166）我们得出结论：ρ（G，s）a.s。----→|s|→∞u（167），其中向量u满足：ui=Xq∈Q（q，qi）（168）回顾定义21完成证明。基于引理23，算法2计算避免显式计算投影合成的依赖系数。接下来，我们确定了算法的正确性和复杂性。定理13（算法2的误差界和复杂性）。我们有：1）给定参数 对于XPFSA推断，估计系数γij（见算法2）中的绝对误差满足： ∈ （0,1/2），lim | si |，|sj|→∞γij- γija、 s.h（θ） 对数∑j |- 1.+ (1 - ) 日志1- !（169）在哪里`∈ ∑过程Hj中具有概率θ的joccurs。2） 假设| Qij |, 和| si |≈ |sj |，算法2的渐近运行时复杂度为O|si |∑j|, i、 与仅计算XPFSA Hij相同。证明：如前所述，我们假设流si、sj分别由进程Hi、hj生成。声明1）：γij的分母由h给出jλeπj（引理16），这是不同符号出现在sj中的概率向量。

根据遍历性，算法2中第3-5行中的r几乎肯定会收敛到分母。引理23保证u（第8-11行）几乎肯定收敛到~Hi你好你好。假设任何一行∏ij的推断向量和实际向量之间的一致性范数误差在一定范围内 ∈（0，1/2）几乎可以肯定。我们将其称为假设A。现在，让u=~Hi你好嗨，还有所有的qk∈ 与推断的πij（qk，·）be e（qk，·）相对应的真概率向量。还有，让我们：w=h（e（q，·））。。。, w=Heπij（q，·）...（170）那么，我们有：γij- γij=杜，我们- 胡，威+胡，威- 胡维h（r）（171）=杜- u、 我们+胡，w- wih（r）（172）杜- u、 我们h（r）+胡，w- wih（r）（173）我们注意到ua。s--→ u、 和h（r）a.s。--→ h（θ），并通过假设A：qk∈ 琪琪，e（qk，·）-eπij（qk，·）∞a、 s （174）这意味着（见[51]引理7）如果 5.1/2，那么我们有：qk∈ Qij，| wk- wk | 5 对数∑j |- 1.+ (1 - ) 日志1- （175）因此，我们得出结论，给定假设A，我们有：lim | si |，| sj|→∞γij- γija、 s.h（θ） 对数∑j |- 1.+ (1 - ) 日志1- !（176）现在，定义22意味着假设A相当于：Θ∑i，∑j（Hij，Hij）5 （177）其中Hij、HIJAR分别是从流程HIT到流程Hj的交叉依赖关系的真实和估计XPFSA。

从定理12可以看出： ∈ （0，1/2]，算法3：从串扰输入预测下一个符号分布：, si，sB，xiOutput：使用si预测下一个符号分布τi//Compute PFSA和XPFSA1 Compute Hi=（Qi，∑i，δi，eπi），2使用si，sB计算HiB=（QiB，∑i，δiB，eπiB），3g← 你好HiB4计算平稳分布Gλ5 foreachσ∈ ∑ido6计算ΓGσ7← Gλ8代表k← 1至| xi | do9←ΓGxikΓGxik10返回τi← e∏iBPrlim | si |，| sj|→∞γij-γij>h（θ） 对数∑j |- 1.+ (1 - ) 日志1- !!5 lim | si |，| sj|→∞埃西| p=0（178），建立了语句1）。陈述2）紧跟定理11。备注4。我们注意到h（θ）>0意味着：lim→0+ 对数∑j |- 1.+ (1 - ) 日志1- = 0（179），即定理13中建立的界对于. 重要的是要考虑系数1/h（θ）的含义。特别是，对于界为有限的情况，我们必须假设过程HJ不仅产生单个重复符号，因为在这种情况下h（θ）=0。此外，如果过程中有一个单一的符号以极高的概率出现，那么h（θ）将很小，这意味着需要更长的时间。这一观察结果与相对罕见事件的应用有关；e、 例如，尖峰神经元网络，或者试图从全球地震数据构建因果网络时。7.1使用交叉概率自动机的预测数据流之间的交叉串扰可用于预测所考虑过程的未来演变。我们使用和以前一样的符号。然而，除了一组nergodic过程H={Hi:i=1，···，n}，我们还考虑了一个额外的过程HB，在字母表∑B上演化（使用相同的标准假设）。我们对预测HB的未来演变很感兴趣。注释7（附加注释）。

o根据上一节所述的命名模式（见符号6），Hito HB的XPFSA表示为HiB=（QiB，∑i，δiB，eπiB）。o某人∈ Σ?b过程中观察到的串HB.o除了字符串si（见符号6），我们还观察到相对较短的字符串xi∈ Σ?i、 i=1，···，n分别在代表直接历史的NProcess Hi中特别是，当我们推断机器时，我们使用SIF来处理HI的流，当我们需要一个简短的状态定位历史时，我们使用XI（在续集中解释）τi，i=1，··，n表示进程HB中预期的下一个符号分布，使用Hito HB的串扰或相关性计算（假设前一个进程中观察到的直接历史是xi）。因此，我们有：你好∈ H(k、 τik∈ [0,1]P∑B | k=1τik=1（180）表1谷歌趋势（1）气候变化（2）宪法（3）毒品（4）经济（5）教育（6）环境（7）自由（8）全球变暖（9）上帝（10）政府（11）枪支（12）医疗保健（13）移民（14）工业（15）文学（16）音乐（17）核武器（19）石油（20）和平（21）宗教（22）科学（23）税收（24）恐怖主义（25）战争（26）财富引理24。让G，嗨HiB，让我们Gxibe在出现串xi的情况下，PFSA G=（QiB，∑i，δiB，eπ）状态上的已实现分布∈ Σ?从平稳分布开始Gλ。

那么：τi=Gxie∏iB（181）其中假设gxi是一个行向量。证明：我们注意到引理19告诉我们：τi=Ey∈Σ?iφHi，HByxi=Hi，HBxie∏iB（182）然后根据定义8（规范表示）和定义23（诱导交叉分布）得出结果。算法3说明了计算τi.7.1.1单个预测融合的伪代码：融合H中过程的预测τi以产生“最佳”预测τ的问题，只允许启发式解决方案（至少没有进一步的信息）。进行这种融合的一种方法是简单地取预测分布的加权平均值，选择的权重是归一化的依赖系数：预测融合：τ=nXi=1γiBPkγkB！τi（183）这种组合策略为相关系数为零的过程赋予零权重。8应用于互联网搜索趋势谷歌趋势(http://www.google.com/trends/)提供一个方便的API来下载任何给定关键字的每周搜索频率的时间序列。时间序列在[0,100]之间标准化，对应于一个特定的关键字，数据序列的每个整数值条目表示提交给谷歌网站的标准化全球查询的每周总和。数据通常从2004年1月的第一周开始提供。因此，在撰写本文时，每个搜索趋势数据系列都是~ 548个条目。我们选择了一小部分关键词，通常是那些在政治或社会语境中被强烈“充电”的关键词。这组关键字如表1所示。这组关键字可以很容易地扩展；然而，这个例子的目的是说明前面章节中发展的理论（而不是，例如，得出新的社会学见解；一个潜在的未来主题）。

需要注意的关键点是，简单的相关性并不能解释与不同关键字对应的搜索频率数据之间的任何特别有趣的依赖结构。事实上，大多数数据系列都是高度相关的，例如，图7中的A板显示了“教育”、“环境”等关键词的数据系列；图B显示了该系列的“经济”、“ZF”三个字。如图所示，平板a中的数据集的相关系数为0.96，而平板B中的数据集的相关系数为0.75。因此，两对数据序列都具有很强的正相关。结果表明（参见图7中的图C），尽管具有高度的正相关性，但搜索频率数据对应于0 100 200 300 400500020406080100corr=0.96倍（周）的搜索时间。无因果关系的强相关搜索关键字EducationEnvironment 0 100 200 300 400 500020406080100corr=0.75次[周]搜索的真实性#。因果相关搜索关键字经济经济教育教育环境ZF0。1677260.1677260.1996910.199691C。关键词之间的因果依赖系数（γ）。7.说明高统计相关性并不表明因果依赖程度高。图版A：强正相关（corr=0.96）搜索关键词“教育”、“环境”的频率数据。图版B：正相关（corr=0.75）搜索关键词“经济”、“ZF”的频率数据。图幅C显示，图幅a中的数据在两个方向上几乎没有因果关系，而图幅B中的数据具有方向因果关系。plateC中弧上的权重是因果依赖系数γ的推断值。