因果网络

虽然XPFSA是生成模型，但对方向依赖程度进行标量量化是有用的。4.1.3方向依赖度第一作者的早期工作[34]中介绍了概率自动机空间上同步合成的二进制操作，用于初始标记PFSA。我们修改了定义，将其应用于遍历平稳QSP的PFSA表示，其中初始状态不重要。定义19（概率自动机的同步合成）。设G=（Q，∑，δ，eπ）是平稳遍历CQSP的PFSA表示。设H=（Q，∑，δ）表示强连通的directedgraph，使得qi是节点集，并且齐，qj∈ Q、 有一条有向边-→ qj，用σ标记∈ ∑，当且仅当δ（qi，σ）=qj。让G= （Q×Q，∑，δ）,eπ) 成为PFSA，相关功能定义如下：气∈ Q、 qj∈ Q、 σ∈ Σ,(δ（（qi，qj），σ）=（δ（qi，σ），δ（qj，σ））eπ（（qi，qj），σ）=eπ（qi，σ）（96）然后G，H的同步合成，表示为G H、 G的任意强连通分量.我们证明了定义19是一致的，即G的任何两个强连通分量在结构上是同构的。引理14（同步合成的充分必要性）。让, G是G的两个强连通分量, 如定义19中所述。然后，我们有：1）G和G在结构上是同构的。qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQ6的1.0 0 0 0.0 0.9σ，0.9σ0.9，0.9σ0.9σ0 0.9σ0 0 0.0 0.9σ0 0 0 0 0.9σ0 0 0 0 0 0.9σ0 0 0 0 0 0 0 0 0 0 0 0.9σ0 0 0 0.9σ0 0 0 0 0 0 0 0 0.9σ0 0 0 0 0 0 0 0 0 0.9σ0 0 0 0 0 0 0 0 0 0.9σ0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 QQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQ6 6 5σ0 | 0.13q1q2σ1 | 0.31σ0 | 0.69σ1 | 0.28σ0 | 0.72GHG 嗯 游戏打得好啊GFig。5.同步和投影合成的插图。

通过构造同步合成，同一字母表上的两个PFSA G，H始终可以在同一个（可能更大）图形上表示。因此，G H和H G具有相同的图，但边上的概率规格不同。没有信息损失，因为通过同步合成获得的PFSA是相同基础度量的非最小实现。我们可以使用投影合成（如图所示，我们可以计算G在H图中的表示形式，反之亦然）将PFSA强制为更小的结构，但这涉及到信息的丢失。预测分布（见定义21）仍保持不变。2） Gi、 i=1，2编码了G编码的概率Neroderelation的一个元素。证明：为了建立陈述2），我们必须证明G对于任何初始状态的选择，是G编码的Nerode关系的最小实现。要查看这一点，请选择状态q∈ Q、 并将G增强为初始标记的PFSA（Q，∑，δ，eπ，Q）。另外，选择astate（q，q）∈ Q×Q，并增广Gas（（Q×Q，∑，δ）,eπ, （q，q））。然后，立即：x、 y∈ Σ?δ（（q，q），x）=δ（（q，q），y）=> δ（q，x）=δ（q，y）（97）这确立了声明2）。接下来，考虑PFSA G的图表, 并用一个新的变形函数eπ对其进行扩充，从而得到一个PFSA G=（Q×Q，∑，δ）,eπ），使得每一行∏是不同的。因此，Gmay中的任何一个州都不能与另一个州合并，因为对于任意两个州q，q∈ Q×Q，以及任意σ∈ ∑，我们通过构造得到：eπ（q，σ），eπ（q，σ）。因为H是强连通的，所以Gre在∑上给出了一些特殊的概率内极等价？（请注意，相比之下，如果H有多个组件，那么初始状态的选择可能很重要）。将与G编码的平稳遍历QSP对应的Nerode关系表示为~现在，考虑两个强连通分量G，Gfor G，状态集Qj Q×Q，Qj Q×Q。

由于定理1确定PFSA的强分量是由完整模型编码的同一个极性关系的实现，因此我们得出结论，GAND Gare是PFSA的两种编码~G、 也就是说，存在一个mapH:Q→ E，H:Q→ E，其中E是~我们注意到H，Hare满射是直接的。从Nerode等价的定义来看，也可以得出结论，没有两个状态可以映射到同一等价类（以避免合并），这意味着H，Hare内射，也意味着逆映射为H-1:E→ Q、 H-1:E→ Qare定义明确。现在，我们构造映射ξ：Q→ Q、 ξ：Q→ Qas如下：Q∈ Q、 ξ（Q）=H-1H（q）（98）Q∈ Q、 ξ（Q）=H-1H（q）（99）如下：Q∈ Q、 ξ（ξ（Q））=H-1HH-1H（q）=q（100），意味着ξ是双射的。由于G是G的组成部分，我们注意到：σ ∈ ∑，q∈ Qj Q×Q，δ（q，σ）=H-1（[xσ]），十、∈ H（q）=> ξ(δ（q，σ））=H-1HH-1（[xσ]）=H-1（[xσ]）=δ（ξ（q），σ）（101）同样地，假设由Gisu编码的∑ω上的概率测度，我们也有：σ ∈ ∑，q∈ Qj Q×Q，eπ（q，σ）=u（xσ∑ω）u（x∑ω），十、∈ H（q）（102）以及：σ ∈ ∑，q∈ Qj Q×Q，eπ（ξ（q），σ）=u（x∑∑ω）u（x∑ω），十、∈ H（ξ（q））=H（q）（103），这意味着：σ ∈ ∑，q∈ Qj Q×Q，eπ（q，σ）=eπ因此，G，Gare在结构上是同构的。注意到变形π是任意的，这就完成了证明。接下来我们介绍投影合成。同样，在作者的早期作品中引入了一个略有不同的版本[34]。定义20（投影合成）。

对于给定的PFSA G=（Q，∑，δ，eπ）和强连通有向图H=（Q，∑，δ），使得Qis是节点集，并且齐，qj∈ Q、 有一个直接的边缘-→ qj，用σ标记∈ ∑，当且仅当δ（qi，σ）=qj，投影成分GH=（Q，∑，δ，eπ）是一个PFSA，具有：Q∈ Q、 σ∈ ∑，eπ（q，σ）=X（q，q）∈Qeπ（q，q），σλ（q，q）X（q，q）∈Qλ（q，q），ifP（q，q）∈Qλ其中q（G）>105，否则 H=（Q，∑，δ，eπ），和λ是Q上相应的静态分布。请注意，同步和投影合成被定义为对一对参数进行操作，第一个参数是PFSA，第二个参数是强连通图，其边由同一字母表中的符号标记。然而，我们可以将它们扩展为固定字母表上强连通PFSA空间上的二进制运算符，使用第二个PFSA的图形作为运算符的第二个参数。因此，谈论TG是有意义的 G、 G H、 G其中G，H是具有强连通图的PFSA。事实上，我们可以很容易地证明，对于任何这样的PFSA G，H:G G=G（106）GG=G（107）（G）H）H=GH（108）此外，投影合成保留了投影分布。定义21（预计分布）。

假设一个PFSA G编码概率空间（∑ω，B，uG），一个PFSA H=（QH，∑，δH，eπH），投影分布Hof G相对于H是一个向量 ∈ [0,1]| QH |，因此： J∈ {1，···，|QH |}，j=Xx∈EjuG（x∑ω）（109）表示G中任何初始状态的选择，其中Ej是对应于状态qj的过渡等价类（见引理6）∈ QH，同样适用于H中初始状态的任何选择。我们注意到~G他总是一个“概率向量”，即。， j、 ~GHj=0和| QH | Xj=1~GHj=Xx∈Σ?uG（x∑ω）=uG（∑ω）=1（110）引理15（投影分布定义良好且不变性）。对于PFSA P和G编码的平稳遍历QSP在同一个参数上：1）~G他独立于初始状态的选择（定义212）~G他给出了G与H的射影复合态的平稳分布，即我们有：~GH=~GHH（111）证明：我们注意到，语句2）暗示了语句1）的遍历性。为了建立陈述2），我们的论证如下：设G=（Q，∑，δ，eπ），H=（Q，∑，δ，eπ），也设GH=（Q，∑，δ，eπ）。让~GH=?. 另外，假设G的状态为平稳分布 H可以表示为.我们声称?也是G的平稳分布H.表示G编码的度量值为uG，以及对应于状态qj的过渡等价的等价类∈ Qas E（qj），我们注意到：?j=Xx∈E（qj），qj∈QuG（x∑ω）=Xq∈Q（q，qj）（112）其中我们使用了G中的状态 H的形式为（q，q），带q∈ Q、 Q∈ Q

转移概率矩阵∏forGH（每个条目是在一个步骤中通过可能不同的符号从一种状态过渡到另一种状态的概率）定义为∏i j=Xσ∈∑：δ（qi，σ）=qjeπ（qi，σ）（113），我们设置（假设?是行向量）：v=?π（114）意味着我们有：qk∈ Q、 vk=| Q | Xj=1?j∏jk=| Q | Xj=1Xσ：qj-→σqk?jeπ（qj，σ）=|Q | Xj=1Xσ：qj-→σqkXq∈Q（q，qj）eπ（（q，qj），σ）=Xq∈Q | Q | Xj=1（q，qj）Xσ：qj-→σqkeπ（（q，qj），σ）=Xq∈Q | Q | Xj=1（q，qj）π（q，qj），（q，qk）（115）自，是G的平稳分布 H、 内容如下：qk∈ Q、 vk=Xq∈Q（q，qk）=?k（116），它确定v=?, 即。，?是G的平稳分布H.通过遍历性，可以得出G和G的平稳分布H是唯一的，这就完成了证明。我们现在已经准备好定义因果依赖的系数。我们从定义15中回忆起，给定两个平稳的遍历QSPsHA，HBover有限字母∑A，∑B，交叉导数φHA，HBxat x∈Σ?根据HAis x.definition 22（因果依赖系数）中字符串的知识，描述HB中的下一个符号分布。设有限字母∑A，∑b上的HA，bBest平稳遍历QSP分别为。HBon HA的因果关系系数，表示为γAB，定义为HB中下一个符号分布的熵的预期变化与HB中下一个符号分布的熵的比值。在HA中没有观测的情况下，即γAB=1-前任∈Σ?A.HφHA，HBxHφHA，HBλ（117）其中离散概率分布u的熵h（u）由piuilogui给出。我们假设HBV不是一个简单的过程，只产生一个字母符号，因此排除了分母为零的可能性。引理16（XPFSA到因果依赖系数）。

对于静态遍历qsp HA，HBover alphabets∑A，∑B，让编码过程的pfsa分别为A=（QA，∑A，δA，eπA）和B=（QB，∑B，δB，eπB）。同样，让来自哈托HBbe的XPFSA为BA=（QAB，∑B，δAB，eπAB）。如果QAB={q，···，qm}，那么我们有：γAB=1-*~A.文学士文学士，HeπAB（q，·）...HeπAB（qm，·）+HBλeπB（118）其中h·，·i是标准内积，以及Bλ是B状态的平稳分布。证明：分母遵循推论3到引理8。让A对概率空间进行编码（ωA，B，u）。然后，我们有：前∈Σ?A.HφHA，HBx=Xx∈Σ?Au（x∑ωA）hφHA，HBx（119）q00（p=12）1（p=12）A（HA的自模）q00（p=12）1（p=12）B.HBq0100的自模。500.51摄氏度。哈托HBq0q110100的交叉模型。800.210.200.81输出分配。HBto HAsB0=0，sA0=0Pr（sAk+1=0 | sBk=0）=0.8Pr（sAk+1=1 | sBk=0）=0.2Pr（sAk+1=0 | sBk=1）=0.2Pr（sAk+1=1 | sBk=1）=0.8Pr（sBk+1=0 |sAk∈ {0,1}=0.5Pr（sBk+1=1 | sAk）∈ {0，1}）=0.5递归系统描述（sAk，Sbk HA，HB的样本路径）γAB=0γBA=0.2781依赖系数fig。6.具有单向依赖性的示例过程。对于上面列出的系统描述，我们得到了两个自模型（板A和B），它们是单态PFSA。同样的，过程HAcannot predicted任何符号在过程HB中，我们得到了从A到B的XPFSA作为一个单状态机（图C）。然而，通过观察HB，过程HAI在某种程度上是可预测的，我们得到了在这个方向上有两种状态的XPFSA（图D）。注意两个方向的相关系数列表。

因为在这个例子中，HAis是熵率为1位/字母的伯努利-1/2过程，因此在过程hb中进行观察会降低下一个符号分布的熵（以哈比0.2781位为单位）。注意到交叉电极等价的等价类~hahb对应于集合QAB中的元素，我们用∑表示字符串的等价类？A对应于状态q∈ 卡巴斯E（q）。然后：Xx∈Σ?Au（x∑ωA）hφHA，HBx=Xq∈QABXx∈E（q）u（x∑ωA）hφHA，HBx（120）我们注意到：十、∈ E（q），φHA，HBx=EπAB（q，·）（121），因此我们使用定义21和引理15:Xq∈QABXx∈E（q）u（x∑ωA）hφHA，HBx=Xq∈QABheπAB（q，·）Xx∈E（q）u（x∑ωA）=Xq∈QABheπAB（q，·）~A.文学士q（122）=Xq∈QABh公司eπAB（q，·）~A.文学士文学士q（123）完成了证明。定理7（因果依赖系数的性质）。

对于静态遍历QSPs HA，HBover字母∑A，∑B，我们有：1）γAB∈ [0,1]2）Ha和HbA是独立的当且仅当γAB=γBA=0。证明：我们注意到熵的非负性意味着：∈Σ?A.HφHA，HBxHφHA，HBλ= 0=> γAB=0（124）对于上界，我们注意到通过从φHA，HBx边缘化x，我们得到：φHA，HBλ=Ex∈Σ?AφHA，HBx（125）=>前任∈Σ?A.HφHA，HBxHφHA，HBλ=前任∈Σ?A.HφHA，HBxH前任∈Σ?AφHA，HBx（126）由于熵是凹的，詹森不等式[43]保证：∈Σ?A.HφHA，HBx5小时前任∈Σ?AφHA，HBx=> γAB5 1（127）这建立了语句1）。接下来我们注意到：γAB=0=>前任∈Σ?A.HφHA，HBx= H前任∈Σ?AφHA，HBx(128)=> 十、∈ Σ?A、 φHA，HBx=v，其中v独立于x（129）=> x、 y∈ Σ?A、 x~ABy（130），这意味着巴哈是一个单一的国家在其最低限度的实现。然后从定理6得出：γAB=γBA=0=> HA，HBare独立（131）要建立相反的关系，我们只需注意，如果HA，HBareindependent，那么AB，BAhave都是单态最小实现（定理6），这意味着x、 y∈ Σ?A、 x~阿比=> 十、∈ Σ?A、 φHB，HBx=φHA，HBλ=> γAB=0（132），并且：x、 y∈ Σ?B、 x~海湾=> 十、∈ Σ?B、 φHB，HAx=φHB，HAλ=> γBA=0（133）这就完成了证明。我们重复使用引理11中构造的例子来说明依赖系数的计算。该系统通过一组下一个符号分布的递归规范来定义（见图6）。我们注意到，在这种情况下，两个自模型都是单态PFSA，实际上代表了伯努利-1/2过程。

一个方向上的XPFSA也是微不足道的，导致依赖系数为零，而另一个方向上的系数正说明了单向依赖的情况（见图6）。5算法基因：自模型推理我们构建了一个有效的程序，从QSP H和预先指定的 > 0.本节（第5节）主要出现在其他地方[31]，但为了完整起见，将其包括在内。5.1实施步骤PFSA的推理算法寻求类似的符号导数（类似的含义是差异的一致性范数在某个预先规定的范围内）), 以及“合并”派生结果相似的字符串片段，即定义它们以达到基础模型中的相同属性。这对于状态拆分或状态合并更为普遍，因为这两个过程同时进行：当我们发现一个符号导数与已经遇到的任何导数不匹配时，我们创建一个新状态；而如果我们找到这样一个匹配，那么我们会合并两个发现派生词相似的字符串。至关重要的是，我们首先要找到一个-同步字符串，并查看其正确的扩展以执行合并和拆分；由于前面的理论发展，这确保了我们能够找到基本PHI的状态 在实体规范中存在错误。我们将我们的算法称为“使用自相似语义的生成器提取”，即对于观测序列s，包含三个步骤：1）识别-同步字符串x：使用观察到的轨迹s（定义13）构造一个派生堆Ds（L），并将L设置为由所有字符串组成，直到足够大但有限的深度。我们建议首先选择L作为对数∑1/. InL非常大，那么推断的模型结构不会因较大的值而改变。