在竞争激烈的广告市场中进行平行试验

然后，测试将拍卖的分数进行比较，以便重点广告客户的广告在这两组人之间显示出来。如果这些分数不同，我们就有证据表明存在分配变化。为了在统计上实现这一点，我们进行了t检验，以评估重点广告商赢得的拍卖的细分是否随其主要竞争对手的存在而变化。结果如表6所示。表6：存在分配效应的测试活动t统计p值1 9.5686 0.00002 249.72 0.00003 15.622 0.00004 4.6626 7.81×10-75 18.537 0.00006 259.50 0.00007 73.079 0.00008 2.4209 3.87 ×10-39 9.7198 0.000010 30.426 0.000011 14.397 0.000012 3.3501 2.02 ×10-413 34.323 0.000014 3.4914 1.20 ×10-47.8221 1.28 ×10-1516 24.192 0.000注：观察单位为广告展示机会。该变量是焦点广告客户是否暴露其广告的指标。我们发现了分配变化的有力证据。在所有16场广告活动中，我们都能够推翻一个无效假设，即焦点广告商赢得的拍卖比例并不取决于其主要竞争对手的存在。这表明：（a）竞争干扰效应存在，（b）分配变化是他们在这个市场上运作的重要渠道。结合表5的结果，这也证明了外部性的存在。这是因为相互作用参数在定性和定量上的异质性。以活动2和3的结果为例。如表6所示，其主要竞争对手的存在会影响其广告展示的概率，这意味着其主要竞争对手能够在焦点公司的实验中向用户展示其广告。然而，表5中活动2的交互参数为正且显著，而活动3的交互参数为负且显著。

这意味着焦点广告商的回报受到向用户展示的广告的身份的影响，这就是我们所说的外部性。因此，我们有证据表明，我们在第9.2节中检测到的竞争性干扰效应不仅是分配变化的结果，也是外部性的结果，这表明了这种竞争性广告环境的复杂性和丰富性。企业广告的效果不仅受其竞争对手数量的影响，因为该数量直接影响其展示广告的能力。此外，能够展示其广告的竞争对手的身份也是相关的。此外，值得注意的是，互动效应可以是正面的，也可以是负面的，因为这表明企业的广告可以是互补的，也可以是替代的。9.4恢复所有可能的ATEATES我们现在通过实施第6.2节中描述的基于核的估计器来更详细地分析竞争干扰效应。我们通过关注第三个活动来说明这种方法。我们选择这场运动有两个原因。首先，估计的无条件ATE很重要。其次，其相对较少的观测值便于使用基于核的估计器，考虑到带宽是通过漏掉交叉验证计算的，其实现非常需要大量计算。9.4.1交叉验证带宽在给出主要结果之前，我们首先在图10中显示我们为每个竞争对手计算的活动3的交叉验证带宽。这些带宽不仅是竞争干扰效应的第一个指标，而且也是竞争对手与更强的此类效应相关联的第一个指标。我们相信这是一个重要的直觉。

要看到这一点，请回忆一下，在基于核的估计器中，将整个向量λ设置为零会产生线性回归估计器，如不等式所示（16）。这可以通过方程式（19）和（20）更容易看出。方程（19）表明，如果λ=0，则如果Zi f=z，则L（Zi f，z，λ）=1，否则L（Zi f，z，λ）=0。将这些结果插入方程（20）中表明，当λ=0时，用于估计θ（z）的唯一观测值是Zi f=z的观测值。因此，得到的估计值与方程（16）中的估计值相对应。相比之下，设置λ=1意味着L（Zi f，z，λ）=1表示所有z，因此所有观察值都被使用，而不管z。因此，Aλ=0意味着没有观察值的汇集，并且对应于焦点公司的ATE根据竞争对手广告政策的每个状态而不同的情况。反过来，λ=1意味着完全汇集了观察结果，并对应于这样一种情况，即重点企业的ATE完全不会因竞争对手的广告政策而变化。因此，焦点企业相对于竞争对手的λ越小，竞争对手对焦点企业的干扰就越大。注意，由于带宽是根据数据计算的，如等式（21）所示，我们可以将计算的带宽解释为来自每个竞争对手干扰程度数据的经验总结。图10：交叉验证带宽1 2 4 5 6 7 8 9 10 11 12 13 14 15 16竞争活动带宽0.0 0.2 0.4 0.6 0.8 1.0注：该图显示了与每个第3家竞争对手相关的带宽。带宽是通过第6.2节所述的留一异交验证获得的。图10显示了为活动3计算的15个竞争对手的交叉验证带宽。

与竞争企业1、4、9和15相关的带宽非常接近1，表明企业3相对于其他竞争企业而言，不会受到这些竞争对手的显著竞争干扰影响。反过来，表2、12、13和14显示的带宽最小，这表明这些是竞争对手使θ更深入地理解这一点，请注意，λ的值越高意味着观测值的集合越多，因此，利用zto估计θf（z）从观测值中借用更多信息，式中，z6=z。这种“信息贷款”被用来抵消模型的恶化：λ的较高值通过增加均方误差（MSE）来惩罚模型性能。如果增加λ导致MSE大幅增加，则证明θf（z）6=θf（z），因此存在相关干扰。对表3的竞争干扰效应最强。图10再次重申了数据中存在大量竞争性干扰。9.4.2评估、竞争干扰和与ATEATEATE原始评估的比较我们现在根据竞争对手的广告政策，对3号公司广告的2=32768个不同ATE进行了评估。目标是评估ATE的异构程度，因此考虑竞争对手的政策至关重要。图11显示了估计的ATE。图11:ATE估算-0.2-0.1 0.0 0.1 0.2辅助重要ATEsNon-重要ATEsNote：该图显示了ATE的估计值。蓝点表示5%水平的统计显著性估计，而红点表示非显著性估计，两者均基于50次重复的非参数自举。图11以蓝色显示统计显著性估计值，以红色显示非显著性估计值，从而区分统计显著性估计值和非显著性估计值。

显著性处于5%水平，并使用基于50次复制的非参数自举法确定。令人感兴趣的是，根据我们简单的“重叠”指标，我们之前评估为第3家主要竞争对手的第10家房地产公司的带宽相对较高。这意味着它不一定是表3最接近的竞争对手，这表明我们之前基于重叠度量的干扰测试是保守的。在重新采样时，估计量允许我们保持带宽不变，使我们能够遵循一个典型的引导过程：我们从样本中抽取替换样本，并计算每个引导样本的所有ATE。然后，我们使用50个引导样本计算每个ATE的标准误差，并使用它们评估统计显著性。在32768项估计中，11616项（占35%）在通常水平上具有统计学意义，这表明我们在ATE中看到的竞争对手政策的变化并不是简单地由抽样和估计噪声驱动的。有趣的是，大多数负面估计（可以说更违反直觉）在统计上并不显著。为了可视化竞争性干扰引起的ATE扩散，图12显示了使用高斯核和Silverman经验法则带宽计算的估计ATE的估计密度。在右上角，我们显示了此分布的相关数量。其范围为-0.2408至0.1853，平均值为0.0320。与平均值0.0320相比，该分布的标准偏差为0.0411，表明ATE之间存在显著的异质性。

最后，中值为0.0348，分布相当对称。ATE分布的分散性分析与评估我们所说的“环境不确定性”的重要性相关：它反映了企业对其竞争对手将在市场上做广告的不确定性。由于估计ATE有助于企业决策，因此ATE之间的高度分散表明考虑环境不确定性很重要。然而，企业遵循的典型方法忽略了环境不确定性，该方法侧重于无条件ATE，通常通过均值估计值的差异获得。如果环境的不确定性是相关的，遵循这种典型的方法可能会损害决策，我们将在下面进行更详细的研究。作为这一分析的先兆，我们现在考虑环境不确定性中有多少是由统计不确定性捕获的，这些统计不确定性围绕着从典型均值差异方法中获得的无条件ATE估计值。如果无条件ATE的统计不确定性几乎没有捕捉到环境的不确定性，那么包含前者但忽略后者的典型决策可能是次优的。为了对此进行评估，图12还显示了表3无条件ATE均值估计的差异，以及其各自的95%置信区间，我们将其用作统计不确定性的度量。我们使用所有实际或反实际暴露于表3广告的用户计算无条件ATE。该点估计值为0.0300，95%置信区间为0.0147至0.0453。如图12所示，相对于可能的ATE的全部范围，该置信区间涵盖的ATE范围较小。

全范围为-0.2408至0.1853，因此无条件ATE的置信区间仅为全范围的7.18%。这表明，即使决策考虑了无条件ATE的统计不确定性，但由于忽略了环境不确定性的很大一部分，其表现仍然很差。我们将在下面对此进行更详细的研究。图12:ATE的密度-0.2-0.1 0.0 0.1 0.2 0.30 2 4 6 8 10 12 ATESPDFPDF os ATEsOLS-基于ATEmax的95%CI=0.1853min=-0.2408mean=0.032median=0.0348s。d、 =0.0411注：该图显示了估计ATE的估计PDF（实线）、基于简单线性回归的ATE估计（垂直虚线）以及与该点估计相关的95%置信区间（阴影区域）覆盖的PDF下的区域。该置信区间是使用对异方差稳健的标准误差构建的。PDF是使用aGaussian内核和Silverman经验法则带宽估计的。9.4.3对企业决策的影响目前为止，我们已经描述了我们在恢复所有可能的ATE时获得的结果，以及它们与通过简单的均值差异恢复的无条件ATE的比较。本节评估了这些不同的方法如何影响企业在实验结束后做出的决策。决策场景我们考虑一个简单的场景，在这个场景中，企业需要决定是否在平台上做广告。做出这个决定是为了最大限度地提高广告的预期收益，因此，当且仅当ATE超过广告成本（我们用κ表示）时，才做出最佳决策。

换言之，f公司的最佳广告政策与其竞争对手政策的函数关系如下：*f t公司A.-f，t=吃了A.-f，t≥ κ, （24）为简单起见，我们假设κ不随-展望未来，我们将把这一决定称为“政策”，并将其执行所需的治疗效果称为与政策相关。为了举例说明，我们将根据ATE的点估计计算策略。实用决策的三个简单政策如果f公司可以获得所有ATE，如图10所示，那么通过使用每个可能的竞争对手州的适当ATE，实施（24）中给出的最佳广告政策将是简单的，这样就不会发生事前错误。然而，这样做在实践中可能很困难，因为（a）平台可能会面临向企业披露多少信息的限制，尤其是关于其竞争对手的活动；以及（b）利用所有可能的ATE需要企业具有很大程度的分析复杂性和计算能力，这可能是缺乏的。因此，我们考虑三种替代策略，它们使用的信息比ATE的整体再分配更有限。如果从平均数估计值的典型差异中获得的无条件ATE高于广告成本κ，则第一项政策包括固定广告。换言之，企业将该点估计值插入方程式（24）中，并实施由此产生的政策。由于实验者通常只计算此ATE，因此我们将此策略称为“默认ATE策略”我们考虑的第二个策略是平台估计所有τf t（A-f，t）条款，但仅向公司报告-f，t.The fim then plugsOne可以想象实际情况并非如此。

例如，如果广告是通过拍卖购买的，那么竞争对手的数量应该会影响支付的价格。我们坚持这个假设以保持分析的简单。该“集成”ATE到等式（24）中，并实现最终的估计最优策略。该政策的动机是公司面临的贝叶斯统计决策理论问题。假设企业对ATE的不确定性是由-f，t，如果后验预期值超过成本κ，则公司的最佳决策是进行广告宣传。然后，该方法采用ATEs的估计分布和τf t（A）的后验分布-f，t）计算后验预期ATE。我们将此政策称为“综合ATE政策”最后，我们考虑的最后一个策略是平台报告每个κ值的ATE超过它的概率。然后，该公司将根据这种概率随机发布广告，这对应于一种简单的概率匹配形式。我们将此政策称为“随机ATE政策”默认的ATE和随机化的ATE策略是启发式的，而集成的ATE策略可以由贝叶斯统计决策理论问题驱动。然而，应根据经验评估其实际表现。三种情景下的评估为了比较这三种政策，我们考虑了三种不同的情景。首先，我们假设-f，ts是等概率的。接下来，我们只考虑-f，t取值为仅存在一个竞争对手，并假设产生的15种情况发生的概率相等。最后，我们考虑一个场景，在这个场景中，广告商运行他们的实验，并遵循天真的方法，通过忽略平行实验的均值差异激励来计算无条件的ATE。

然后，我们只考虑以下情况：如表4所示，具有显著估计值的广告人的ATE处于5%的显著水平（即广告商1、5、9、11和15）总是在做广告。我们假设这些情况很可能发生。对于这三种情况中的每一种，我们计算在遵循这三种可能的政策时，表3犯事前错误的概率，并对不同的κ值重复此练习。结果如图13所示。从以下备选政策的结果来看，总体而言，我们发现所有三项政策都有可能导致与使用全套ATE进行决策相关的事前错误。我们可以认为这反映了由两个原因导致的效率低下。第一，根据图13的错误假设做出决策：不同场景下错误广告决策的概率（a）所有场景的概率相同0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-ATE政策（b）一次仅1名竞争对手0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-ATE政策（c）具有重要ATE的竞争对手总是广告0.00 0.02 0.04 0.06 0.08 0.100.0 0.2 0.4 0.6 0.8 1.0广告成本错误违约概率-ATE策略集成-ATE策略随机化-当治疗效果（关于竞争）实际上是异质的时，ATE政策同质治疗效果。第二，通过使用简单的决策规则，当最优决策规则实际上更加复杂和细微差别时。此外，所有政策都显示出一种类似倒U形的事前错误概率模式。这有一个直截了当的解释。