在竞争激烈的广告市场中进行平行试验

我们通过搜索、其他广告和有机推荐跟踪用户访问产品详细信息页面的情况。广告商重视对产品详细信息页面的访问，因为这是实际转换的前提，而前置广告的一个明确作用就是推动此类访问。它们也是向广告商报告的一个关键结果指标，作为竞选绩效报告的一部分。因此，这是一个重要的指标，可以在下面的分析中分析并形成我们的依赖变量。8.1整个活动的重叠sour样本包括大约2200万用户，他们至少接触了16个实验性广告活动中的一个。我们说，如果没有实验，一个人本可以得到广告，那么他就“暴露”在竞选活动中。在我们的样本中，大约27%的用户接触了16个活动中的一个以上。表1显示了暴露在用户中的分布。表1：不同活动的用户重叠#暴露于#的活动#的用户%样本1 15830998 72.862 4629025 21.313 1040805 4.794 193192 0.895 29007 0.136或更多3854 0.02同样暴露于其他活动的活动的实验用户的百分比会影响他们之间竞争干扰的可能性。表2显示，中间活动中有50%的用户也至少接触过一次其他活动。

它进一步表明，大量的重叠可能是由于单个竞争活动造成的。表2：跨活动的用户重叠广告数量%暴露的用户数%暴露给至少一个其他用户的活动重叠度最高的用户数1 74%53%2 38%10%3 50%18%4 46%11%5 52%12%6 37%13%7 43%11%8 45%20%9 51%17%10 59%19%11%11%12 50%14%13 58%22%14 49%21%15 52%21%16 60%27%活动的“主要竞争对手”下面的部分分析仅关注focalcampaign，我们用f表示，以及它的主要竞争对手，我们用g.8.2随机化检查表示。在展示实证结果之前，我们验证了实验的正确实施。我们首先评估分配给每个活动治疗组的用户比例是否符合预期，即70%。为此，我们通过样本平均值和与分数是否等于0.70的假设测试相关的p值来计算这些分数。如果这个无效假设是正确的，这些p值交叉活动应该与标准均匀分布的抽奖相对应。Wet使用KolmogorovSmirnov（KS）测试其分布是否符合标准制服，并将结果显示在图7中。与KSP相关的p值指出，这种重叠只是其他公司与重点公司f最接近的竞争对手的粗略衡量。

例如，对于所有重叠用户而言，a公司g可能不是f的相关竞争对手，g的存在影响f的范围可能取决于另一家公司，h检验为0.986，表明实验中获得的分数符合预期。图7：治疗组0中部分用户p值的KS测试。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：该图显示了16个p值的分位数图，使用对异方差稳健的标准误差计算，与每个运动治疗组中的用户分数相关。对于这些p值是否来自标准均匀分布，KS检验的p值为0.986。现在，我们继续调查实验前用户行为的可能差异，作为他们是否属于每个活动的治疗组和对照组的函数。如果随机化正确实施，各组之间不应存在显著差异。为了验证是否存在这种情况，对于每个活动，我们在治疗分配指标实验开始前的三天内，对购物车的添加次数、订单数量、产品详细信息页面的访问次数以及总销售价值（GMV）进行回归，这是一种金钱支出的度量。

回归系数以及对异方差稳健的标准误差如表3所示。在64个系数中，54个系数在正常水平上没有统计学意义。表3：试验前三天治疗回归系数-购物车GMV添加量-订单量-就诊量-购物车GMV添加量-订单量-就诊量-1-0.0108-0.1035 0.0008-0.0121 9 0.0003 0.1096 0.0001-0.0030（n=128576）（0.0073）（0.3025）（0.0014）（0.0180）（n=539，702）（0.0007）（0.2891）（0.0001）（0.0080）2 0.0002-0.0007 0.0002 0.0001 100.0025 0.6120 0.0001 0.0226（n=535343）（0.0004）（0.0046）（0.0001）（0.0012）（n=66824）（0.0014）*（0.4016）（0.0001）（0.0209）3 0.0094 0.3232 0.0021 0.0144 11 0.0007-0.0118 0.0004 0.0041（n=12809）（0.0059）（0.2576）（0.0036）（0.0349）（n=130071）（0.0009）（0.0254）（0.0007）（0.0046）4 0.0001 0.0010 0.0001 0.0128 12-0.0047-0.5814 0.0009-0.0099（n=14846）（0.0001）（0.0010）（0.0001）（0.0071）*（n=14806）（0.0137）（0.9264）（0.0052）（0.0855）5-0.0006-0.0777-0.0003 0.0024 13 0.0059 1.9995 0.0005 0.0357（n=179516）（0.0012）（0.1393）（0.0006）（0.0052）（n=111，307）（0.0034）*（1.6644）（0.0004）（0.0856）6 0.0013 0.0131 0.0009 0.0028 14 39 0.3669 0.0032 0.0459（n=184689）（0.0006）**（0.0069）*（0.0004）**（0.0015）*（n=20907）（0.0137）*（0.4281）（0.0043）（0.0660）7 0.0003-0.1681-0.0001 0.0026 15 0.0168 1.4439 0.1330-0.0294（n=302471）（0.0005）（0.3101）（0.0002）（0.0071）（n=66984）（0.0104）（0.6600）**（0.0663）***（0.0270）8-0.0068-0.1054-0.0001-0.0804 16-0.0001 0.0025 0.0002 0.0004（n=131743）（0.0044）（2.0914）（0.0003）（0.0564）（n=339018）（0.0003）（0.0018）（0.0001）（0.0008）注：每个单元格包含与治疗相关的系数线性回归的指标。观察单位是用户。

因变量是实验前三天的事件。括号中显示了对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1为了说明多重测试，我们估计每个活动的SUR模型，收集与测试相关的p值，以确定所有系数是否等于零，并使用KS测试测试它们是否对应于标准均匀分布得出的结果。结果如图8所示。与KS检验相关的p值为0.173，因此我们不能拒绝零假设，即p值遵循通常显著水平的标准均匀分布。我们仅获得15个p值，因为与活动4的SUR估计相关的方差矩阵不可逆。图8：通过测试各治疗组的平均实验前行为是否相等，对p值进行KS测试0。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：图中显示了16个p值的分位数图。aKolmogorov-Smirnov检验的p值是否来自于auniform分布。注：图表显示了15个p值的分位数图。对于这些p值是否从标准均匀分布中提取，KS检验的p值为0.173。最后，我们评估假设1是否成立，即用户是否确实在整个活动中独立分配给治疗组。为此，对于每个活动，我们在表2中确定的用户是否属于其主要竞争对手的治疗组指标上，对用户是否属于其治疗组的指标进行回归。然后，我们收集所有16个p值，根据对异方差稳健的标准误差计算，并进行KS检验，以确定它们是否遵循标准均匀分布，如果治疗分配不相关，则应如此。

结果如图9所示。与该KS测试相关的p值为0.428，表明假设1已得到满足。图9：通过测试治疗分配和跨实验活动之间的相关性，对p值进行KS测试0。2.4.6.8 10 .2.4.6.8 1p值均匀分布注：该图显示了16个p值的分位数图，使用对异方差稳健的标准误差进行计算，并通过线性回归确定用户是否属于活动的主要竞争对手的治疗组，其中该指标为回归因子，主要活动的治疗指标为因变量。对于是否从标准均匀分布中提取这些p值，KS测试的p值为0.428.9结果本节介绍了上述实验的结果和数据。我们首先显示从实验研究中典型方法获得的基线结果，即通过治疗指标结果的线性回归计算出治疗组和对照组之间的简单均值差异。从今以后，我们将此称为无条件ATE的均值估计差异。这些对应于项ξf t（σ）的估计值-f，t），如方程式（12）所示，用于16个活动中的每个活动。然后，我们评估竞争干扰效应的存在，并找到此类效应的证据。接下来，我们利用第6.2节给出的基于核的估计器的结果来剖析这种干扰导致的ATE中的异质性，并概述对广告者决策的影响。9.1基线结果表4显示了16次活动中每一次无条件ATE的均值估计差异。我们只使用在没有实验的情况下会暴露于重点战役f及其主要竞争对手g的观察结果。

我们选择该样本是为了与我们在调查竞争干扰效应的存在时发现的结果具有可比性。表4：基线结果Campaign治疗常量运动治疗常量1 0.0293 0.1015 9 0.0286 0.1212（n=128576）（0.0093）***（0.0078）***（n=677576）（0.0079）***（0.0066）***（0.0066）***2-0.0018 0.0268 10 0.0297 0.1463（n=535426）（0.0031）（0.0036）***（n=68454）（0.0251）（0.0233）***3 0.0436 0.0473 11 0.0187 0.0177（n=24109）（0.0127）***（0.0080）***（n=161701）（0.0030）***（0.0020）***4-0.0036 0.0141 12-0.4537 1.6134（n=27883）（0.0087）（0.0085）*（n=17347）（0.4060）（0.4027）***5 0.0090 0 0.0395 13 0.0284 1.4218（n=231047）（0.0044）**（0.0038）***（n=150471）（0.0671）（0.0558）***6 0.0004 0.0046 14-0.0344 0.8920（n=393256）（0.0009）（0.0009）.0007）***（n=29849）（0.0720）（0.0650）***7 0.0120 0.0582 15 0.0555 0.4518（n=449963）（0.0063）*（0.0056）***（n=77525）（0.0228）**（0.0324）***8 0.0056 0.1973 16 0.0004 0.0019（n=677576）（0.0106）（0.0090）***（n=339019）（0.0007）（0.0005）***注：观察单位为用户。因变量是实验期间访问SKU详细信息页面的次数。括号之间显示对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1在16个估计值中，7个ATE在正常水平上具有统计学意义。各效应之间存在实质性差异：在显著效应中，其范围为8.73%（活动15）至98.95%（活动11），平均为36.40%。最后，为了说明16个活动中的多重测试，我们估计了一个SUR模型，并对所有ATE是否都等于零进行了联合测试。我们得到的p值低于0.00001，这表明我们可以拒绝这个假设。

总的来说，这确立了前焦点广告对多个活动的访问具有可测量的治疗效果。9.2评估竞争性干扰效应的存在我们现在评估竞争性干扰效应的存在。为了便于解释，我们首先分析每个活动的效果如何随主要竞争对手的存在而变化，如表2所示。请注意，这只是第一次切割。为了更全面地评估竞争性干扰，我们需要评估在整个2F中每个竞争对手的影响如何变化-1=2=32768种可能的情况，取决于每个竞争对手的存在。如第9.4节所述，几个竞争对手可能会干扰某个广告客户的活动，因此需要进行全面分析，以揭示竞争的全貌。为了进行第一次切割分析，我们估计了以下回归：Yi f=αf+βfDi f+γfDig+δfDi fDig+Ciψf+ei f，（23）其中g是上述公司f的主要竞争对手。向量中包含的变量是表3中实验前三天的结果。这些变量独立于治疗任务，我们将其包括在内以提高估计量的精度。我们可以通过评估参数δ的重要性来检测竞争性干扰是否会改变焦点公司的ATE。

表5显示了所有活动的估计值。表5：方程式（23）得出的结果活动αβγδ活动αβγδ1 0.0796 0.0516 0.0314-0.0319 9 0.1099 0.0427 0.0162-0.0202（n=128576）（0.0114）***（0.0146）***（0.0151）***（0.0188）*（n=677576）（0.0099）***（0.0130）***（0.0128）（0.0163）2 0.0337-0.0124-0.0100.0153 10 0.1301 0.041 58 0.0233-0.0231（n=535426）（0.0055）***（0.0053）***（0.0058）*（0.0065）***（n=68454）（0.0351）***（0.0426）（0.0414）（0.0526）3 0.0325 0.0938 0.0212-0.0718 11 0.0206 0.0151-0.0042 0.0052（n=24109）（0.0131）***（0.0267）***（0.0167）（0.0298）***（n=161701）（0.0043）***（0.0062）***（0.0049）（0.0070）4 0.0380-0.0268-0.0344 0.0334 12 1.1854-0.0671 0.6131 86-0.5597（n=27883）（0.0278）（0.0280）（0.0278）（0.0281）（n=17347）（0.1591）***（0.1802）（0.5946）（0.6085）5 0.0487-0.0041-0.01320.0187 13 1.4252-0.0428-0.0049 0.1018（n=231047）（0.0095）***（0.0104）（0.0103）（0.0113）*（n=150471）（0.0928）***（0.1060）（0.1151）（0.1353）6 0.0043-0.0002 0.0005 0.0008 14 0.8806-0.0470 0.0163 0.0181（n=393256）（0.0011）***（0.0014）（0.0018）（n=29849）（0.0865）***（0.1037）（0.1197）（0.1392）7 0.0518 0.0270 0.0092-0.0215 0.4539 0.0438-0.0030 0 0.0168（n=449963）（0.0080）***（0.0106）**（0.0102）（0.0130）**（n=77525）（0.0413）**（0.0354）（0.0351）（0.0435）8 0.1901 0.0268 0.0102-0.0303 16 0.0011 0.0022 0.0012-0.0026（n=677576）（0.0161）**（0.0184）（0.0191）（0.0226）（n=339019）（0.0006）*（0.0013）*（0.0010）（0.0015）*注：观察单位为用户。因变量是实验期间访问SKU详细信息页面的次数。括号中显示了对异方差稳健的标准误差。***p<0.01，**p<0.05，*p<0.1统计显著性在16个相互作用系数δf中，6个在通常的一个水平上具有统计显著性。

为了防止多重测试，我们估计了一个SUR模型，并对所有δF是否在用户级别（2632499个用户）进行了联合测试。我们得到了一个p值=0.0192，这表明存在竞争干扰效应。经济意义为了评估干扰的经济意义，我们计算了各个活动中|δf | |βf |的平均值。在所有16项活动中，这一比率为0.6226，在具有统计显著性βf的活动中，这一比率为0.6733。这表明，干扰相当于一场运动主要效果的很大一部分。从这些结果中可以看出，在这个市场中，竞争性干扰可以实质性地改变焦点活动广告的效果，而竞争性的改变可以实质性地改变广告的相关处理效果。9.3评估竞争干扰效应的来源下一步是解开这些效应的来源，这可以帮助我们理解竞争在推动我们发现的相互作用中的作用。我们将特别关注上述两种影响，即分配变化和外部性。为了测试是否存在分配变化，我们评估focaladvertiser主要竞争对手的存在是否会影响focaladvertiser显示其广告的概率。更准确地说，我们关注的是向属于focal advertiser治疗组的用户显示广告的拍卖，因此，重点广告商始终能够真实地展示他们的广告。然后，我们将此组分为两个，一个是用户属于主要竞争对手的治疗组，以便他们可以看到主要竞争对手的广告，另一个是用户属于主要竞争对手的控制组。