选举干扰中的非合作动力学

对于每个点（x，t），使用从等式28中采样的N=10000条轨迹计算近似值函数。我们在面板A中显示t的近似值函数∈ {0, 0.75, 1 - dt}和面板B中相应的近似控制策略u（x，t），以及u（x，t）的平滑版本，我们用虚线表示。面板C显示Yt的实现情况，Yt是生成计算解决方案所依据的度量的过程。分析控制策略att=T由u（T）=-[δ（x- 1) - δ（x+1）]。图中显示了近似值函数V（x，t）及其相应的近似控制策略u（x，t）=-V（x，t）x、 我们在Nx=500线性间隔xn的网格上计算这些近似值∈ [-2, 2].由于近似的u（xn，t）是有噪声的随机函数，我们也在图7中绘制了它们的平滑版本。这些平滑版本由我们定义（xn，t）=kXn=-ku（xn+n，t）。（29）我们设置k=7，因此，我们（xn，t）是2k+1=15，噪声较大的u（xn，t）的逐步移动平均值。作为t→ T，us（xn，T）逼近T=T时控制问题的解析解，由u（x，T）给出-[δ（x-1) - δ（x+1）]。在进一步限制的情况下，当一方有可信的承诺来执行常数控制策略v（t）=v时，我们可以得到进一步的分析结果。在此假设下，与等式28对应的概率定律由u（y，t）给出=√2πσtexp2σt[（y- x）- vt], （30）使（指数变换的）值函数读取Д（x，t）=Eu（y，t-t）经验值-λv2σ（T- t） Φ（YT）（31）=扩展-λv2σ（T- t） op2πσ（t- t） ×（32）∞Z-∞经验值-2σΦ（y）+（y- x）- v（T- t） ）t- t型dy.对于许多Φ（y），可以精确计算该积分，对于许多其他最终条件，可以使用拉普拉斯方法近似计算该积分。当t→ 所以方程中指数的变元的分母。

31接近零，拉普拉斯近似积分读数∞Z-∞经验值-2σΦ（y）+（y- x）- v（T- t） ）t- t型dy公司≈p2πσ（T- t） 经验值-2σΦ（x+（T- t） 五）.（33）反转变换ν，值函数近似为v（x，t）=λv（t- t） +Φ（x+（t- t） v），（34）和控制策略byu（x，t）=-Φ（x+（T- t） v）。（35）01234V（x，t）V（x，0）VLaplace（x，0）V（x，t）2.0 1.5 1.0 0 0.5 0.0 0 0.5 1.0 1.5 2.0x1.00.50.00.51.0V（x，t）V（x，0）VLaplace（x，0）V（x，t）图8。当玩家i承诺在固定的时间间隔内玩一个恒定的策略文件v（t）=v时，玩家i的值函数v（x，t）的分析近似形式为v（x，t）≈ λv（T- t） +Φ（x+（t- t） v）。我们在实心黑色曲线中显示时间t=0时的数值确定值函数，在虚线黑色曲线中显示时间t=0时的拉普拉斯近似。较浅的色调曲线是最终时间T的值函数，即各自的最终条件。顶部面板显示最终条件Φ（x）=x的结果，而底部面板显示Φ（x）=tanh（x）。我们显示了图8中t=0时用等式34近似值函数的结果，以及t=0和t=t时实际数值确定的值函数，以供参考。依赖于自由参数拉普拉斯近似值函数可能依赖于自由参数a，该参数可用作“控制旋钮”来调整近似值。例如，playeri可以使用a来调整近似值对选举过程与死热的距离的敏感性。理想情况下，近似控制策略应具有与真实控制策略相似的尺度和渐近性质。

解决a的最优值的优化问题是满足这一要求的一种方法。作为一个案例研究，我们考虑了当我们设置Φ（a）（x）=tanh（ax）时，Laplaceapproximated值函数V（a）（x，t）及其相应控制策略u（a）（x，t）的行为。我们之所以考虑这个具体例子，是因为Φ（a）（x）→ Θ（x）-Θ(-x） 作为→ +∞. 这一限制可能是各种领域复杂行为的根源，如分段光滑动力系统（确定性和随机性）[36，37]，库仑摩擦[38]和进化生物学[39]。图9显示了最终条件Φi（x）=tanh（ax）的播放器i的指数变换值函数等式31。在这里，玩家可以信赖地承诺玩v=0.01的恒定策略。作为t→ T，a的值越大，状态空间的两个区域之间的边界就越清晰，这两个区域对玩家i来说代价很高（x的正值）而对玩家i来说代价较小（x的负值）。这种行为在性质上与最终条件Φi（x）=Θ（x）产生的行为相似-Θ(-x） 。然而，我们将表明，由于使用Φ（x）与Φ（a）（x），控制政策存在显著的比例差异。来自Eqs。

33和34，我们近似值函数v（a）（x，t）≈ λv（T- t） +tanh{a[x+v（t- t） ]}，（36），因此控制策略约为Yu（a）（x，t）≈ -asech{a[x+v（T- t） ]}，（37），两个展开式的精度都越来越高→ TΦ（x）=Θ（x）时- Θ(-x） ，我们可以解析地计算值函数：p2σ（T- t）∞Z-∞经验值-2σΘ（y）- Θ(-y） +（（y- x）- v（T- t） ）t- t型dy=cosh2σ+ 新罕布什尔州2σerf公司-x+v（T- t） p2σ（t- t） ！，（38）因此，我们发现v（x，t）=λv（t- t）- 2σlog“cosh2σ+ 新罕布什尔州2σerf公司-x+v（T- t） p2σ（t- t） 哦#（39）andu（x，t）=-s2σπ（T- t） 经验值-（x+v（T-t） ）2σ（t-t）科思2σ+ erf公司-x+v（T-t）√2σ（T-t）.（40）近似控制策略u（a）（x，t）和限制控制策略具有类似的负“钟形”形状，但在重要方面也有所不同。真实控制策略衰减为非对称函数erf（·）调制的高斯分布。近似策略在逻辑上衰减，因此比真正的控制策略更慢。虽然近似策略是对称的，但由于误差函数项，真实策略是不对称的。使用拉普拉斯近似会导致对选举过程的控制超过最佳控制。这是因为u（a）（x，t）的尾部比u（x，t）的尾部重。我们可以通过将自由参数a设为函数并解决函数最小化问题mina（t）TZt来最大化u（a）（x，t）和u（x，t）之间的相似性∞Z-∞[u（a（t））（x，t）- u（x，t）]dx-dt。（41）该问题的一个驻点由A（t）给出∞Z-∞[u（a（t））（x，t）- u（x，t）]u（a（t））（x，t）a（t）dx=0。（42）我们无法用解析方法计算该积分，而不是用代换方程。37和40。我们通过使用secantmethod对100个线性间隔t中的每一个进行数值求解，从而找到该问题的解决方案∈ [0.5, 0.9975].我们在图10中显示了最佳a（t），以及相应的u（a（t））（x，t）和真实u（x，t）。

我们发现，最优a（t）随t超指数增长→ 在这个极限下，近似的精度会增加。这是预期的，因为u（a）（x，t）是使用拉普拉斯近似推导出来的，而拉普拉斯近似正是在这个限度内有效的。即使假设对常数控制策略v作出可信承诺，我们也可以在非合作场景中使用该理论来近似值函数。对于任意v（t），关于t+t给定SV（t+t） =v（t）+v（t）t、 在小时间增量上导致近似值函数迭代t、 V（x，t+t）≈ λv（t）（t-t） +Φ（x+（t-t） [v（t）+v（t）t] ）。（43）在应用中，v（t）和v（t）都可以从t上可能有噪声的数据估计出来∈ [0，t]。103100103a101xt=0.5103100103a101xt=0.75103100103a101xt=0.875103100103a101xt=0.9375103100103a101xt=0.9688103100103a101xt=0.9844103100103a101xt=0.9922103100103a101xt=0.99611006×1012×100（x，t）1004×1012×100（x，t）1003×1016×101（x，t）1002×1013×1014×1016×101（x，t）2×1016×101 1013×1014×1016×101（x，t）1012×1013×1014×101（x，t）1012×1013×1014×101（x，t）1016×1022×101（x，t）图9。如果玩家i可信地承诺在整个游戏期间玩一个值等于v的常数策略，则玩家i的（指数变换）值函数ν（x，t）具有等式31给出的积分表示。在最终条件设置为Φ（x）=tanh（ax）的情况下，我们显示Β（x，t）的动力学。我们计算了x的值函数∈-,和a的对数等距值∈ [10-3, 10]. 对于<10-1，值函数几乎是常数。当a>10时，随着t的增加，xИ（x，t）在x=0附近的幅值增加→ T2.0 1.5 1.0 0.5 0.0 0 0.5 1.0 1.5 2.0x2.52.01.51.00.50.0u（x，t）0.50.60.70.80.91.0t（年）2 1 0 1 2x1011000u（x，t）0.6 0.8 1.0t（年）2×1001012×101a（t）图10。方程的解。

41是拉普拉斯方法导出的值函数V（a）（x，t）=tanh（ax）中的超指数增长a（t）参数。我们使用该值函数作为公式39中给出的精确值函数的近似值。虚线表示u（x，t），实线表示u（a）（x，t）。右下插入轴显示与主轴相同的数据，并且还包括上一个模拟时间步t=0.9975时的u（x，t）和u（a）（x，t），以证明近似值的精度增加为t→ T左下方的插图显示了最佳a（t）。三、 选举干预行动的一个例子是2016年美国总统大选中俄罗斯军事对外情报局（红队）的活动。红队试图损害一位候选人（希拉里·克林顿）的获胜机会，并帮助另一位候选人（唐纳德·特朗普）[11]。尽管俄罗斯外国情报部门在过去至少进行过一次选举干扰行动，但在2014年乌克兰选举中[40]，2015年和2016年的行动引人注目，因为红队特工利用微博网站Twitter试图影响选举结果。当这个攻击向量被发现时，推特关闭了与红队活动相关的账户，并收集和分析了与这些账户相关的所有数据【41–43】。已经对这些和其他选举攻击向量（如Facebook广告购买）对选举投票和选举结果的定性和统计影响进行了分析【44】，并对更普遍的选举影响事件的检测进行了分析【45，46】。

然而，据我们所知，俄罗斯军事情报部门以及美国国内外情报机构所使用的控制政策的数量性质，目前还没有公开的工具可以反向工程。我们首先建立了第节所述模型的离散时间公式。II A.然后，我们通过在理论模型中找到最能描述观测数据和推断潜在控制的自由参数值，将其与理论预测进行比较。在这一过程中，我们面临着两个不同的不确定性来源。首先，我们不能直接遵守红色或蓝色的控制政策，因为外国和国内情报机构对其活动进行保密。其次，每个玩家的最终时间支付结构也是秘密的，我们不知道。为了部分规避这些问题，我们构建了一个两阶段模型。第一阶段是贝叶斯结构时间序列模型，如图11所示，通过该模型，我们能够推断uR（t）、uB（t）和x（t）的离散化类似物的分布。一旦我们推断出这些分布，我们将最小化损失函数，该函数将这些分布的平均值与第节所述模型产生的分布平均值进行比较。II A.我们对选举的形式做出了简化假设，正如我们在Sec中所述。I在构建离散时间选举模型时。也就是说，我们假设只有两名候选人参加选举，而选举过程是由一个简单的“候选人反对者-候选人B”投票模拟的。虽然有一些预测选举的方法所做的假设越来越少，限制性也越来越小，例如划分感染模型[47]、预测市场[48]和更复杂的贝叶斯模型[49，50]，但我们构建了我们的统计模型来模拟Sec的基本选举模型。II A。

我们这样做是为了测试这个基础理论模型再现推断控制和观测选择动力学的能力。我们既不能观察红色uR（t）也不能观察蓝色uB（t）控制策略。然而，我们可以观察到一个事实：2016年大选前一年，俄罗斯军事情报相关账户发送的推特数量【51】。该数据集包含来自2848个独特推特句柄的总计2973371条推特。在这些推文中，共有1107361条发生在选举前一年（2015年11月8日，2016年11月8日）。我们将这些推文按天分组，并使用每天推文总数的时间序列作为观察值，从中我们可以推断出我们的推文。我们限制了模型的时间范围，从共和党全国代表大会（2016年7月21日）和民主党全国代表大会（2016年7月28日）结束日期的较晚者开始。我们之所以这样做，是因为2016年7月28日这两个日期中较晚的一天，是两个主要政党候选人之间的较量日。在2016年所有与俄罗斯军事情报相关的推特中，363131条发生在2016年7月28日至选举日前一天的102天内。虽然小党派候选人的存在可能对选举结果起到了一定的作用，但即使是最突出的小党派（自由意志党和绿党）也只获得了一位数的支持[52，53]。我们没有对这些小党派进行建模，而是只考虑两个主要政党候选人之间的选举竞争。我们使用RealClearPolitics民意测验聚合作为选举过程本身的代理【54】，平均在同一日期记录的民意测验，如果投票在多天内进行，则使用投票日期范围内的最早日期作为观察的时间戳。

平均时，我们对所有民意调查进行平均加权。使用这两个观察到的随机变量，我们建立了图11中所示的阿巴斯结构时间序列模型。现在我们描述一下OFIG的结构。11、我们近似于第节中定义的分析模型的时间序列成分。II A采用贝叶斯结构时间序列（BSTS）模型。随后，我们将BSTS模型与2016年美国总统选举数据进行了对比。观察到的随机变量由灰色阴影节点表示，而潜在随机变量由未阴影节点或红色（uR，t）和蓝色（uB，t）节点表示。我们观察到一个由Zt表示的NoiselElection民意调查，以及一系列由推特表示的与俄罗斯军事情报相关的推特。我们在建模阶段的目标是推断潜在的选举过程（用Xt表示）和潜在的控制策略。该模型并解释了我们对先验和似然函数的选择。在分析模型中，我们用依赖于时间和状态的维纳过程对最近的控制策略uR（t）和uB（t）进行建模。要看到这一点，回想一下状态方程是根据维纳过程演化的，并将伊藤引理应用于arandom变量的确定性函数-虚拟现实x个x=x和-VBx个x=xt，定义控制策略。维纳过程的离散化版本是一个简单的高斯随机游走。Wethus用高斯随机游动对潜在的红蓝控制策略进行建模：p（uR，t | uR，t-1，uR，σ）=N（uR，t-1+uR，σ）（44）p（uB，t | uB，t-1，uB，σ）=N（uB，t-1+uB，σ）（45）同样，我们通过状态演化方程的离散化版本对潜在选举过程进行建模，方程3:p（Xt | Xt-1，uR，uB）=N（Xt-1+uB，t-1.- uR，t-1，1）（46）我们假设潜在选举模型在潜在空间中受到正常观测误差的影响。

由于我们选择logistic函数作为潜在和真实（在（0，1）选举空间上）之间的联系，因此观察选择过程的可能性由Logit正态分布给出。此分布的pdf isp（Zt | Xt，σZ）=s2πσZexpn-（logit（Zt）-Xt）2σZoZt（1- Zt）。（47）尽管任何一天发生的俄罗斯军事情报会议的数量显然是一个非负整数，但我们选择不这样建模。“count”随机变量（如推特时间序列）的一个常见且简单的模型是泊松分布，可能具有与时间相关的速率参数【56–59】。该模型对计数分布的方差（即方差和均值相等）施加了一个强有力的假设，这在推特数据的上下文中似乎不现实。我们没有搜索满足某些最优标准的离散计数分布，而是将推特时间序列归一化为零均值和单位方差，使其成为连续随机变量，而不是离散随机变量。然后，我们改变了时间序列，使新的时间序列在我们研究期间的第二天等于零。然后，我们通过正常观察可能性p（Tweetst | uR，t，σTweets）=N（uR，t，σTweets）对该时间序列进行建模。（48）我们在每个标准偏差随机变量（σ，σZ，σTweets）上放置一个弱信息先验，一个对数正态分布，在每个平均随机变量（uR，uB）上放置零中心正态先验。该模型是高维的，因为潜在时间序列X、uR和UBA被推断为T维向量。该模型总共有3T+5=311个自由度。我们将在inFig中显示此模型的图形表示。11