一种具有持久链接和特定节点潜在连接的动态网络模型

这里，我们不考虑与潜在变量相关的hiddendynamics。因此，该模型的公式1.1的规格如下，P（At | At-1，α，χ）=Yi，j>iP（Atij | At-1ij，αij，χij）=Yi，j>iαijIAtijAt-1ij+（1- αij）χAtijij（1- χij）1-Atij公司,（1.3）如果IAtijAt-1如果Atij=At，则指示器函数取值等于1-1否则为零。等式1.3描述N每个链路的独立马尔可夫链。这种时间网络模型完全由N（N- 1） 参数{α，χ}≡ {αij，χij}i=1，。。。，Nj> 我们用极大似然法估计它们。该模型的电阻模式可以通过链路的自相关函数（ACF）进行量化。它是一个标准的自回归过程AR（1），但具有非负的自回归系数αij，即DAR（1）图模型只能描述非负的ACF。通过考虑非对称邻接矩阵，简单地将该模型推广到有向网络。1.2. 时间广义随机图（TGRG）。第二个模型是能力网络模型[26，27]的推广，它是一种动态设置，可以解释时间演化的节点能力。适应度是一个节点属性，决定其创建链接的能力。我们假设每个节点i的特征是θi，其通过遵循协方差平稳自回归过程AR（1），θti=φ0，i+φ1，iθt随时间演化-1i+ti，i=1。。。，N（1.4），其中φ0，i∈ R、 φ1，i |<1和i.i.d.变量~ N（0，σi）。该选择与等式1.1中的马尔可夫假设一致。此外，隐藏节点状态θtievolves在n个时间步之间的R中，但由于高斯转移概率，不太可能发生大的变化。这与网络拓扑在时间上平稳变化的想法是一致的。

最后，假设高斯转移概率表示模型估计的简化。时间t isP（at | t）=Yi，j>ieAij（θti+θtj）1+e（θti+θtj），（1.5），其中≡ {θti}i=1，。。。，Nis是时变参数的向量。在等式1.5中，我们假设每个链路是独立采样的，并且节点i和节点j之间在时间t的链路概率由相应的θtian和θtj确定。θti越大，所有链路发生tonode i的概率越大。我们将此模型称为时间广义随机图（TGRG）和EQ的规格。1.1对于TGRG，如下所示：，P（θti |θt-1i，Φi）=f（θti |φ0，i+φ1，iθt-1i，σi）i=1。。。，NP（At | t）=Qi，j>iP（Atij |θti，θtj）=Qi，j>ieAtij（θti+θtj）1+e（θti+θtj）（1.6）和P（|tΘt-1，Φ）=QNi=1P（θti |θt-1i，Φi）根据独立性假设，其中f（θti |φ0，i+φ1，iθt-1i，σi）是非正态变量的密度，平均值为φ0，i+φ1，iθt-1和方差σi。静态参数集为Φ≡ {Φi}i=1，。。。，N带Φi≡ {φ0，i，φ1，i，σi}。TGRG模型完全由3×N静态参数Φ确定。在下一节中，我们提出了一个期望最大化方案来估计模型参数和时变参数。它在期望步骤之间交替进行，在期望步骤中，我们输入时变参数{t}t=0,1，。。。，在最大化步骤中，我们最大化静态参数的对数似然，条件是预期{t}t=0,1，。。。，T、 时间自相关节点可能会导致链路持久性。事实上，如果θtian和θtjare自相关，则两个特定节点之间的链接概率e（θti+θtj）/（1+e（θti+θtj））是持久的。请注意，链接持久性是节点属性的结果。

对于TGRG，可以半解析地计算滞后链路的两点分布函数和链路状态的ACF（见附录）。有向网络的TGRG模型的推广可以通过区分出度和入度，并通过为每个节点i引入两个属性来实现，即θt、出度和θt、ini。给定潜变量θt，outi和θt，injis P（Atij |θt，outi，θt，inj）=eAtij（θt，outi+θt，inj）1+e（θt，outi+θt，inj），时间t从节点i到节点j的链路概率。然后，所有内容都类似于无向情况，其前提是P（At | t）在隐藏节点状态的线性变换下不变：θt，outi7→ θt，outi+cti=1。。。，N，θt，inj7→ θt，inj- 计算机断层扫描j=1。。。，N，其中{ct}t=0,1，。。。，T∈ RT+1。这种对称性的产生是因为每次传出链接的总数必须等于传入链接的总数。这种退化可以通过一种时间常数来消除。最后，让我们注意到，我们可以将TGRG解释为指数随机图（ERG）[28]对动态情况的扩展。ERG群是在一组网络可观测值的平均值上，在某些约束条件下，通过最大化香农熵获得的网络概率分布。如果该集合是degr e e序列，则熵约束优化的拉格朗日乘子可以直接与我们模型的潜在变量联系起来。与使用动态（即两次）观测值的ERG的其他动态扩展（参见示例[5]）不同，这里我们为变量选择一个动态模型，即AR（1）过程，并为其引入一种估计方法。1.3. 离散自回归时间广义随机图（DAR-TGRG）。

与等式1.2描述的复制机制相关的持久性模式可以与根据等式1.4随时间演化的节点共存。这可以通过方程式1.1中模型的以下规格来获取，P（θti |θt-1i，Φi）=f（θti |φ0，i+φ1，iθt-1i，σi）i=1。。。，NP（在|在-1，Θt，α）=Qi，j>iαijIAtijAt-1ij+（1- αij）eAtij（θti+θtj）1+e（θti+θtj）（1.7）和P（Θt | t-1，Φ）=QNi=1P（θti |θt-1i，Φi）根据独立性假设，其中f（θti |φ0，i+φ1，iθt-1i，σi）是平均值为φ0，i+φ1，iθt的正态变量的密度-1和方差σi，αij∈ [0，1]和α≡ {αij}i、 j=1。。。，N，对于无向网络，αij=αji，Φ≡ {φ0，i，φ1，i，σi}i=1，。。。，nφ0，i∈ R、 |φ1，i |<1，σi>0i、 和θti∈ Ri、 t.该模型可以解释为两种机制的混合，即一种是以概率αij复制过去存在或不存在的链接，另一种是以概率1描述的时间演化边缘-αij。让我们强调一下，由fitnessdynamics生成的时间模式并不涉及特定的链接，而是一个节点属性。因此，在这种机制下，同一节点上的linksincident往往具有类似的持久性属性。相反，选择机制的持久性是一种链接属性，发生在同一节点上的链接可能具有非常不同的持久性属性。参数αij阐明了这两种效应在确定链接动力学（i，j）中的重要性。公式1.7中的模型完全由N参数α和3×N参数Φ，可通过我们在下一节N.2中提出的期望最大化算法进行估计。估计方法我们现在描述DAR-TGRG模型的估计过程。我们提出了一种基于贝叶斯推理方法的期望最大化方法。

通过设置参数αij，简单地得到了TGRG模型的估计方法i、 j=1。。。，N在下列方程式中等于零。表示Θ≡ {t}t=1，。。。，T、 A≡ {At}t=0,1，。。。，Tand∏≡ {Φ, α}. 贝叶斯方法考虑了潜在变量sp（a，π）=P（a，π）R[dΓ]P（a，π）=Z的后验分布-1∏P（A，|∏），（2.1），其中，[dΓ]表示概率空间上的度量，用于推断一组统计上的显著性和静态参数上的后验分布sp（A）=P（A）P（A）Z[dΓ]P（A，|∏）∝ P（π）Z∏（2.2）学习给定数据的最可能参数集^∏。利用光滑先验P（π），通过对∏的对数似然l（π）进行极值化得到∏≡ 对数P（π| A），即通过求解方程πl（π）=∏log Z∏=∏logZ[dΓ]P（A，Γ∏）=R[dΓ]πP（A，Γ∏）R[dΓ]P（A，Γ∏）=0。（2.3）由于最大化等式2.2中的可能性，即求解等式2.3，需要计算关于等式2.1中后验值的期望，这是一种期望最大化（EM）方法【29】。2.1. 时变参数的推断。假设已知静态参数∏。我们没有解决动态参数sΘ的时间序列的推理问题，即通过最大化eq。2.1. 相反，我们通过调节期望值^Θt，逐步推断参数Θtb-1，这是对t的一步向后估计-1、让我们重点关注观察到前一个网络快照时，在一般时间t 6=0时的推断，并让Ft≡ {在-1，∏}是所考虑问题的信息集。根据贝叶斯定理，itisP（Θt | At，Θt-1，Ft）=P（At | t，Ft）P（At | tΘt-1英尺）P（Θt-1 | Ft）P（At，Θt-1 |英尺）。（2.4）因此，通过以Θt的期望为条件-1，即^Θt-1，可以通过最大化以下Θt，P（Θt | At，At）的可能性来解决推理问题-1，^Θt-1, Π) ∝ P（在|处-1，Θt，α）P（Θt |^Θt-1, Φ) , t=1。。。，T

（2.5）最大化等式2.5相当于解决以下问题^Θt=argmaxγ对数P（At | At-1，γ，α）+低g F（γ|^Θt-1, Φ), （2.6）其中F（Θt | t）-1, Φ) ≡QNi=1f（θti |φ0，i+φ1，i^θt-1i，σi）是与潜在变量转移概率相关的高斯概率密度函数。式2.6相当于以下内容，我们假设知道Θ的期望值，即^Θ。下面，我们将解释如何推断潜在动力学的初始点。非线性方程组，Xj6=i(1 - αij）eAtij（θti+θtj）1+e（θti+θtj）αijIAtijAt-1ij+（1- αij）eAtij（θti+θtj）1+e（θti+θtj）-Atij+e（θti+θtj）1+e（θti+θtj）！-θti- φ0，i- φ1，i^θt-1iσi=0，i=1。。。，N、 （2.7）该系统可通过以下迭代比例拟合程序进行求解：（i）假设任何起点^θtii=1。。。，N表示节点能力；（ii）然后，通过调节^θtj，逐一求解等式2.7中的方程j 6=i；（iii）用c对应方程的解更新^θTi的值；（iv）重复，直至收敛。所提出的推断时变参数的方法是一种统计滤波算法。滤波是一种操作，涉及到通过使用测量到并包括t的数据来提取关于时间t的潜在感兴趣量的信息，如卡尔曼滤波器及其扩展。然而，与卡尔曼滤波器不同的是，我们研究了具有连续值状态空间（即连续值状态向量Θt）但具有二进制度量矩阵（即At）的隐马尔可夫模型的情况。最后，让我们注意到，所提出的方法可用于在线推断：一旦静态参数的有效在线学习完成，只要有新的测量ATI可用，我们就可以解决Θtin公式2.6的过滤问题。

在线推断对于链路预测特别有用：让at成为当前的观测值，我们希望构建一步超前预测，即[at+1 | at]。一旦通过求解等式2.6在线推断出^t，则通过对通过投影潜态获得的概率分布P（At+1 | At，^t，π）=Z[dΘt+1]P（At+1 | At，Θt+1，α）P（At+1 | t，Φ）进行平均，构建一步超前预测。在第4节中，我们展示了该程序的应用。2.2. 学习α。假设知道静态参数Φ，并考虑学习α的问题。α的最可能估计值是通过最大化等式2.2中的相关后验值获得的，即isP（α| A）∝Z[dΘ]P（A，Θ|α，Φ）=ZTYt=1dΘtP（在|处-1，Θt，α）F（Θt | t-1, Φ). （2.8）然而，由于网络概率分布的非线性，等式2.8中的积分不可行。因此，我们最大化了一个近似的可能性，其中潜在变量的转移概率取决于前一步的期望，即lα≡ZTYt=1dΘtP（在|处-1，Θt，α）F（Θt | t-1, Φ) ≈TYt=1ZdΘtP（在|处-1，Θt，α）F（Θt |^Θt-1, Φ) ≡lα，（2.9），其中^θt-1i是θt的期望值-1我们通过求解公式2.7得到的。让我们重点学习参数αij。当我们旨在获得αij的解时，学习中涉及的唯一时变参数是与节点i和节点j相关的参数，即{θti}t=1，。。。，Tand{θtj}t=1，。。。，T、 因此，αij最可能的估计值是最大化以下对数似然的值▄Sαij=log▄lαij=TXt=1logZdxdyαijIAtijAt-1ij+（1- αij）eAtij（x+y）1+e（x+y）！f（x |φ0，i+φ1，i^θt-1i，σi）f（y |φ0，j+φ1，j^θt-1j，σj）。（2.10）在学习过程中，涉及以下二重积分，IAtij（^θt-1i，^θt-1j，Φi，Φj）=（2.11）zdxdyatej（x+y）1+e（x+y）f（x |φ0，i+φ1，i^θt-1i，σi）f（y |φ0，j+φ1，j^θt-1j，σj），可通过数值求解。

然而，我们建议应用Polson等人提出的以下积分恒等式[31]（eψ）a（1+eψ）b=2-be（a-b） ψZ∞e-ωψpP G（ω）dω（2.12）一个可能的选择是^θti=φ0，i+φ1，i^θt-1其中b>0，a，ψ∈ R、 和pP G:[0，∞) 7.→ [0，1）是Pólya Gamma分布的密度。对于pP-Gb，没有一个闭合形式的表达式，但我们对其进行数值计算。可以在[32]中找到采样Pólya Gamma随机变量的方法。式2中的二重积分。11相当于下面的积分，IAtij（^θt-1i，^θt-1j，Φi，Φj）≡Z∞dωpP G（ω）KAtij（ω，^θt-1i，^θt-1j，Φi，Φj）（2.13），其中katij（ω，^θt-1i，^θt-1j，Φi，Φj）=expσi+σj+4（φ0，i+φ1，i^θt-1i+φ0，j+φ1，j^θt-1j）（2Atij-1.-ω（φ0，i+φ1，i^θt-1i+φ0，j+φ1，j^θt-1j））8（1+ω（σi+σj））q1+ω（σi+σj）。我们建议对等式2.13中的积分进行数值计算。这就提供了计算单积分的优势。然后通过求解方程来估计αijαijSαij=0，可显式重写为asTXt=1IAtijAt-1ij- IAtij（^θt）-1i，^θt-1j，Φi，Φj）αijIAtijAt-1ij+（1- αij）IAtij（^θt-1i，^θt-1j，Φi，Φj）=0。（2.14）等式2.14的解表示给定数据的最可能估计值^αij。2.3. 学习Φ。让一个假设知道静态参数α并考虑学习Φ的问题。与上一小节类似，我们使用对潜在变量期望的条件来获得Φ的近似对数似然，ΦSΦ=TXt=1logZ“NYk=1dxkf（xk |φ0，k+φ1，k^θt-1k，σk）#Yi，j>iαijIAtijAt-1ij+（1- αij）eAtij（xi+xj）1+e（xi+xj）. （2.15）让我们重点学习参数Φi≡ {φ0，i，φ1，i，σi}。由于边际分布，每个时变参数θTi与所有其他参数耦合，这阻止了公式2.15中多重积分的估值。

因此，我们对概率测度采用以下近似值，NYk=1dxkf（xk |φ0，k+φ1，k^θt-1k，σk）≈ dxif（xiφ0，i+φ1，i^θt-1i，σi）Yk6=idxkδ（xk-^θtk）f（xkφ0，k+φ1，k^θt-1k，σk），即我们对所有潜在变量（θti除外）在时间t的期望进行条件化。然后，我们最大化以下数量，~SΦi=TXt=1logZ∞-∞dxif（xiφ0，i+φ1，i^θt-1i，σi）Yj6=iαijIAtijAt-1ij+（1- αij）eAtij（xi+^θtj）1+e（xi+^θtj）, （2.16）即我们通过求解方程组来估计ΦibΦiSΦi=0。让我们定义以下分区函数t=1。。。，T，ZtΦi≡Z+∞-∞dx f（xiφ0，i+φ1，i^θt-1i，σi）Yj6=iαijIAtijAt-1ij+（1- αij）eAtij（x+θtj）1+e（x+θtj）（2.17）并让utΦi和∑tΦi分别为分布的一阶矩和二阶矩。方程组ΦiSΦi=0显式读取为huΦii- φ0，i- hL^θiiφ1，i=0T（L^θiuΦi）- hL^θiiφ0，i-T（L^θ）iL^θi）φ1，i=0σi-h∑Φii+φ0，i+T（L^θiL^θi）φ1，i- 2huΦiiφ0，i- 2T（L^θiuΦi）φ1，i+2hL^θiiφ0，iφ1，i= 0（2.18），其中粗体符号表示T维向量，即x=（x，x，…，xT）′，尖括号表示时间平均值，即hxi≡TPTt=1xt，L是滞后运算符，即Lxt=xt-1、让我们注意到，L^θi=^θire在初始时间表示潜在状态（见下文）。非线性方程组可通过以下迭代比例拟合程序求解：（i）假设任意起点Φi；（ii）计算utΦi和∑tΦit=1。。。，T（iii）求解然后=100 N=250 N=500 N=1000时间（h）2.8（5）11（1）45（4）151（12）表1。在T=200的无反射网络情况下，应用于DARTGRG模型的EM算法的平均收敛时间。在模型模拟中，参数是随机确定的，如第3节所述。

使用在普通双核Intel core i5上执行的Matlab代码进行了仿真，该双核Intel core i5具有8GB RAM。公式2.18中的方程组，替换utΦi→ utΦi和∑tΦi→ ∑tΦit=1。。。，T（iv）更新Φi的值并继续，直到收敛。2.4. 算法。估计过程包括在期望步骤中改变潜在变量的推断，在最大化步骤中学习静态参数直到收敛。作为该方法的起点，时变参数{t}t=0,1，。。。，Tcan be estimate by single snapshot inference，即给定时间t处的网络快照，并假设gp（at |γ）=Qi，j>ieAtij（γi+γj）1+e（γi+γj），我们通过快照解决s napshot以下问题，Θt=argmaxγlog P（at |γ）t=0，1。。。T（2.19），我们得到了一个朴素估计{ΘT}T=0,1，。。。，Tof等式1.7中马尔可夫链的隐藏状态。特别是，我们推断出初始时刻的潜在状态，即^Θ≡~Θ.然后，我们估计公式1.4中的过程，对于天真推断的{Θt}t=0,1，。。。，t获得静态参数Φ的原始估计值。最后，可通过求解等式2.14 w，并使用天真推断红色{t}t=0,1，…，获得复制概率的天真估计▄α，。。。，Tand￠Φ。我们将这种朴素估计方法称为模型的单快照推理（SSI）。因此，我们采用以下迭代算法：（1）假设为起点Θ和∏={￠Φ，￠α}。（2） 推断≡ {t}t=1，。。。t用∏解等式2.7。（3） 通过求解等式2.14了解^α，对于每个可能的节点对，使用先前推断的^Θ和￠Φ。（4） 通过使用先前推断的^Θ和^α求解每个i的等式2.18，学习^Φ。（5） 更新Θ←^Θ.（6） 更新▄∏←^Π.（7） 重复，直到收敛。这是一种期望最大化学习算法【33】，其中我们对期望步骤（第2行）使用了RASalgorithm【34】的推广。