因果网络

然后我们确定D的凸包的顶点∞, 通过任何标准算法计算船体[44]。选择XA作为到该顶点的字符串映射。2） PH结构的识别，即过渡函数δ：我们生成δ如下：对于每个状态q，我们将astring Identifier xidq关联起来∈ x∑？，概率分布hqon∑（是状态q对应的∏行的近似值）。我们递归地扩展了这个结构：a）将集合Q初始化为Q={Q}，并将集合xidq=x，hq=φs（x）。b） 对于每个状态q∈ Q、 计算每个符号的σ∈ ∑，找到符号导数φs（xidqσ）。If | |φs（xidqσ）-hqσ||∞5.对于一些问题∈ Q、 然后定义δ（Q，σ）=Q。另一方面，如果在Q中找不到这样的qc，则添加一个新的状态qto Q，并定义xidq=xidqσ，hq=φs（xidqσ）。当每个q∈ Q有一个目标状态，foreachσ∈ Σ. 然后，如有必要，我们使用[45]确保强连接。3）识别弧概率，即函数eπ：a）选择任意初始状态q∈ Q.b）按照δ的指示，在识别的图形中运行序列s，即，如果当前状态为Q，从s读取的下一个符号为σ，则移动到δ（Q，σ）。计算弧遍历，即生成数值nijqiσj--→Nijqk。c） Generatee∏by row normalization，即∏i j=Nij/（PjNij）报告的递归结构扩展算法[35]，[46]缺乏-同步步骤，并且仅限于推断可同步或短内存模型，或长内存模型的大近似值。5.2复杂性分析和PAC可学习性基因对状态数没有上限；这是过程复杂性本身的函数。当hq（第2步）逼近这些∏行时，我们通过遍历计数的标准化来确定弧概率。

HQ仅使用序列sin x∑？，而遍历计数使用的是整个序列，因此更准确。我们假设对应于不同状态的∏行在sup范数中至少分离了. 具有不同政治家风度的PFSA可能具有对应于多个州的相同行。然而，并不是所有的行都可以相同，因为这样各州就会崩溃，我们就会得到一个单一的州PFSA。提出的算法可以很容易地进行修改，以解决这个问题；如果两个状态具有相同的对应∏行，则可以消除它们与具有相同标签的输出跃迁的多重性之间的歧义；不过，我们不在这里讨论这个问题。另一个问题是获得强连接的PFSA，如果在第2步之前，我们从第1步推断的结构中提取一个强组分，就可以确保这一点。这可以使用Tarjan算法[45]有效地实现，该算法具有O（|Q |+|∑|）渐近空间和时间复杂度。定理8（时间复杂性）。

假设| s |>|∑|，基因的渐近时间复杂度为：T=O | s |∑|!（134）证明：假设|s |>|∑|，我们注意到Geneses执行以下计算：通过计算φs（x）forO（1）来计算导数堆的C1计算/) 字符串（推论1），每个字符串都涉及读取输入s并对∑上的分布进行归一化，从而分配O（1）/ ×（|s |+|∑|）=O（1）/ ×|s |）。C2找到堆的凸包的顶点，最坏的情况是检查O（1）/) 点（通过字符串生成堆进行编码），贡献O（1）/ ×|∑|），其中每个检查在O（|∑|）时间内完成。C3发现δ，涉及计算字符串标识符处的导数（步骤2），从而贡献O（|Q |×|∑|×| s |）。C4使用遍历计数和归一化识别弧概率，以弧数为时间线性，i.eO（|Q |×|∑|）。把贡献加起来，我们得到：T=O（1/ ×|s |+1/ ×|∑|+| Q |×| s |×|∑|+| Q |×|∑|）=O1/ + |Q |∑|）×s|（135）注意到| Q |以可区分的符号派生词的最大数量为界，因此以1为界/, 我们得出结论：T=O | s |∑|!（136）这就完成了证明。有限概率识别被称为可能近似正确的学习[30]、[47]、[48]（PAC学习），它接受了一个假设，该假设与高概率的正确语言没有太大区别。一种识别方法被称为识别目标语言L？在可能近似正确（PAC）的意义下[30]、[47]、[48]，如果它总是停止并输出L，则：, δ>0，P（d（L？，L）5) = 1.- δ（137），其中d（·，·）是目标语言空间的度量。如果存在一种算法，即PAC识别类中的每种语言，并以1的时间多项式运行，则一类语言是高效PAC可学习的/, 1/δ、样本输入长度和推断的模型大小。

我们首先通过在∑上建立概率自动机空间的度量来证明QSP的PAC可学习性。5.3 QSP的PAC可识别性我们首先建立一个适当的度量来建立基因的PAC可学习性。引理17（概率自动机的度量）。对于两个强连接的PFSA G，G，让符号导数在x处∈ Σ?分别命名为φsG（x）和φsG（x）。那么，Θ（G，G）=supx∈Σ?（林| s |，| s）|→∞φsG（x）- φsG（x）∞)（138）定义了∑上概率自动机空间的度量。证明：非负性和对称性紧随其后。三角不平等是因为注意到φsG（x）- φsG（x）∞Is上界为1，因此对于stringsin∑的任何选定顺序？，我们有两个`∞序列，在sup范数下满足三角线质量。由于对于任何足够长的s，s，任意x处的符号导数一致收敛于相应∏矩阵行的某种线性组合，因此度量是明确的。现在，我们可以确定具有有限个因果状态的遍历平稳QSPs类是PAC可学习的。定理9（QSP的PAC可学习性）。遍历的、平稳的QSPs，其概率内极等效有一个有限的指标满足以下性质：对于, η>0，对于QSP H生成的每一个足够长的序列s，GenESeSS计算PHA和PHwith:Pr的估计值Θ（PH，PH）5= 1.- η（139）渐近运行时间是1中的多项式/, 1/η，|s |。证明：定理3的Geneses构造和推论2暗示，一旦-同步字符串xis已识别，x的右扩展（在同步状态下出现的概率非零）为-同步在哪里= C、 用C<∞ 如等式中所定义。

(53).如果目标QSP有| Q |状态，那么|Q |状态需要通过正确的扩展来访问-同步字符串x。因此，对于任何> 0，公关部Θ（PH，PH）5 C | Q|= 1.- 公共关系||φs（x）- xe∏||∞> =>公共关系Θ（PH，PH）5= 1.- E-|s|C-|Q | O（1）（使用等式（67））因此，对于任何η>0，如果我们有| s |=O（C | Q|logη），则满足等式（139）的要求条件。多项式运行时在OREM 8中建立。推论4（定理9：样本复杂性）。使用Geneses进行PAC学习所需的输入长度在, 对数η，但因果状态数为指数| Q |。证明：从定理9直接得到。备注2（样本复杂性）。样本复杂度对目标QSP因果状态数的指数渐近依赖性不应被解释为无效。与PAC学习的标准化处理不同，这里我们没有一组独立的样本作为训练，而是一个较长的输入流。注意到输入s由指数数量的子环（所有长度的总和）组成，如果将这组子序列作为样本集处理，则对|Q |的指数依赖性消失。因此，如何选择定义该设置的样本复杂性概念是一个问题。备注3（关于卡恩斯硬度结果的备注）。我们对卡恩斯的硬度结果免疫[49]，因为 > 0加强了状态可分辨性[50]，而且，我们感兴趣的系统对遍历平稳动力系统的限制，产生了无终止痕迹，使得卡恩斯用奇偶函数[49]的特殊构造不适用。6算法XGeneses：交叉模型推理我们注意到，PFSA之间的结构同构概念（见定义9）自然延伸到XPFSA，后者的输出变形函数在前者中扮演变形函数的角色。

特别是，我们注意到，假设过程和串扰映射的遍历性（见定义14），意味着我们得到了类似于定理1的结果；也就是说，XPFSA有唯一的最小实现，它们是强连接的。引理18（存在唯一的强连通极小XPFSA实现）。对于平稳遍历QSPs HA，HBoveralphabets∑A，∑B，如果概率交叉Nerode关系~哈哈∑？A（关于一致的遍历串扰映射，Seed定义14）有一个有限的索引，然后它有一个强连接的XPFSA生成器，该生成器在结构同构上是唯一的。证明：该论点与定理1中的论点相同，使用引理9中描述的构造。-同步在基因研究中起着重要作用。相应的同步概念对于推断XPFSA是必要的。然而，由于XPFSAs模型是进程之间的依赖关系，而不是进程本身，因此-这种情况下的同步不能仅基于XPFSA结构或其输出变形。具体地说，由于XPFSA中的转换缺乏生成概率，因此在与PFSA相同的意义上讨论同步是没有意义的。然而，同步仍然是必要的，以确保我们推断XPFSA状态，而不是它们的分布。我们需要诱导交叉分布，即在第一个过程中给定观测字符串的XPFSA状态上的分布，以明确同步的概念。定义23（诱导交叉分布）。

给定平稳遍历Cqsps HA，HBover字母∑A，∑B，一个用于HA的PFSA生成器，以及来自HAto HB，eachx的最小XPFSA BA=（QAB，∑A，δ，eπ∑B）∈ Σ?a导出一个分布HA，HBxover QABde递归定义为：HA，HBλ7→ ~GA文学士文学士（140a）哈，HBxσ7→哈，HBxΓBAσ哈，HBxΓBAσ（140b）我们假设HA，HBxis是行向量，ΓBAσ是将输出变形作为形态函数的符号特定变换矩阵（见定义7）。引理19（诱导交叉分布的解释）。给定静态遍历QSPs HA，HBover字母表∑A，∑B，一个用于HA的PFSAgenerator Ga，以及来自HAto HB的最小XPFSA BA=（QAB，∑A，δ，eπ∑B），诱导交叉分布哈佛商学院：十、∈ Σ?A.HA，HBxe∏∑B=Ey∈Σ?AφHA，HByx（141）假设与之前一样哈，HBxis是一个行向量。证明：表示HAas（ωA，B，uA）诱导的概率空间，以及对应于状态q的等价类∈ QABas E（q），我们注意到：Ey∈Σ?AφHA，HByx=Xy∈Σ?AuA（y∑ωA）φHA，HByx=Xq∈QABXyx∈E（q）uA（y∑ωA）φHA，HByx=Xq∈QABXyx∈E（q）uA（y∑ωA）eπ∑B（q，·）（142）最后，注意到定义21和23意味着：哈，HBx=Xyx∈E（q）uA（y∑ωA）（143）完成了证明。定义24(-XPFSA的同步）。对于平稳遍历QSPs HA，HBover字母∑A，∑B和XPFSA BA=（QAB，∑A，δ，eπ∑B），从HAto HB，字符串x∈ Σ?人工智能-与BA同步，如果Q∈ QAB，嗯∈Σ?AφHA，HByx-eπ∑B（q，·）∞5. （144）下一个结果减少了-将XPFSA的字符串与特定PFSA的字符串同步。定理10(-通过投影合成同步XPFSA）。

给定平稳遍历QSPs HA，HBover字母∑A，∑B，其中A=（Q，∑A，δ，eπ）是编码HA的PFSA，ba=（QAB，∑A，δ，eπ∑B）是来自HAto HB的XPFSA，A stringx∈ Σ?人工智能-如果xis-与PFSAA同步文学士（定义10）。证明：我们注意到引理19意味着对于任何x∈ Σ?A、 最大值=1，··，| QAB|HA，HBxi=1- => Q∈ QAB，嗯∈Σ?AφHA，HByx-eπ∑B（q，·）∞5. （23）注意到定义意味着：哈，HBx=A.BAx（146）完成了证明。因此-同步XPFSA BA，我们只需找到-PFSA A的同步字符串这是一个我们已经解决的问题（见引理7和定理4）。然而，衍生堆的定义（见定义13）需要适当概括（见定义27）。然而，在我们进入XPFSA推论之前，我们注意到，上述的简化使我们得到了以下重要的推论，从而证明了这一点-同步字符串存在于任何 > 0.推论5（定理10:-正在同步XPFSA的字符串）。无论如何 > 0，平稳遍历QSPs HA，HBoveralphabets∑A，∑B，和给定的XPFSA Ba，从HAto HB，存在字符串x∈ Σ?Athat-同步BA。证明：紧跟定理10和定理2。在介绍推理算法xGenESeSS之前，我们需要一种有效的方法来计算交叉导数。首先，我们概括了定义11中引入的计数函数。定义25（符号交叉计数功能）。对于字母∑A，∑B上的字符串sA，sB，交叉计数函数#sA，sB:∑？A×∑B→ N∪ {0}，统计sA中某个特定子字符串出现的次数，后面紧跟着sB中的某个特定符号。

计数是重叠的，即在字符串sA=000100，sB=012212中，我们计算字符串00在sA中出现的次数，紧接着是符号2在sB中出现的次数，如：000100 00010012212 012212包含#sA，sB（00，2）=2。然后，我们使用交叉计数函数定义交叉导数的估计量。定义26（交叉导数估计）。对于字符串sA，sB超分辨字母∑A，∑B，交叉导数估计φsA，sB:∑？A.→ [0,1]|∑B |是一个非负向量，求和为单位，中心定义为：十、∈ Σ?A、 φsA，sBx）i=#sA，sB（x，σi）xσi∈∑B#sA，sB（x，σi）（147）和之前一样（见定理3），我们有以下收敛性。引理20(-交叉导数的收敛性）。对于平稳遍历qsp HA，HB，∑A，∑B，产生各自的stringssA，sB，和一个给定的XPFSA bahato HB，如果x∈ Σ?人工智能同步，然后： > 0，lim | sA |，| sB|→∞φsA，sBx-eπ∑B（[x]，·）∞a、 美国。 （148）证明：由于φsA，sBxis是φHA，HBx的经验分布，因此使用定理3的论证得出的结果来自Glivenko-Cantelli定理[39]。与第5节中描述的PFSA推断类似，我们在这里寻求类似的交叉导数，并“合并”导数结果相似的字符串片段，即定义它们，使其在推断的XPFSA中达到相同的状态。首先，我们需要将衍生堆的定义概括如下：定义27（交叉衍生堆）。对于平稳遍历QSPsHA，HB，∑A，∑B上，产生相应的字符串sA，sB，交叉导数堆DsA，sB:2∑？A.→ D（|∑B |- 1） 是为字符串L的子集计算的∑B上的概率分布集 Σ?Aas:DsA，sB（L）=φsA，sBx:x∈ L Σ?A.（149）我们注意到引理7和定理4立即推广：引理21（交叉导数堆收敛）。

1） 定义：D∞, lim | sA |，| sB|→∞极限→Σ?ADsA，sB（L）（150）如果你∞是D的凸包∞, u是u的顶点∞andeπ∑Bis从HAto HB的输出变形XPFSA，那么我们有：Q∈ Q、 使得u=eπ∑B（Q，·）（151）2）对于平稳遍历QSPs HA，HB，在∑A，∑B上，产生相应的字符串sA，sB，让DsA，sB（L）用L=O（log（1）计算/)). 如果是x∈ ∑O（log（1）/))A、 φsA，sBxis是DsA，sB（L）的凸包的顶点，那么我们有：Pr（xis不是-（3）5 e-|sA| p（152），其中pis表示遇到辛萨的概率。证明：参见引理7和定理4.6.1 XGeneses的实现步骤我们在XGeneses中有两个步骤，这两个步骤推断出强连通的最小实现BA=（QAB，∑A，δ，eπ∑B）：1）识别-同步字符串x：使用观察到的记录道sA，sB构造一个派生堆DsA，sB（L）。（定义27），并设置L=log |∑A | 1/. 然后我们确定D的凸包的顶点∞, 通过任何标准算法计算船体[44]。选择XA作为到该顶点的字符串映射。2） 转换函数的识别：我们生成δ如下：对于每个状态q，我们关联一个字符串识别码xidq∈ x∑？A、 概率分布hqon∑B（它是状态q对应的∏∑B行的近似值）。