在竞争激烈的广告市场中进行平行试验

通过限制需要报告的有关竞争对手影响的信息量，这种启发式方法也有利于平台，因为平台可能会面临限制，无法向企业披露有关其竞争对手活动的信息。第六，我们将这些方面纳入我们帮助京东构建的广告实验平台。com，一家电子商务公司，也是中国一家大型广告发布商。我们展示了如何将实验设计设计融入拍卖驱动的市场，以及如何通过平台恢复我们概述的相关因果估计。这对于那些对如何将本文讨论的经济计量问题转化为实际解决方案和基础设施感兴趣的研究人员和企业来说可能很有用。最后，我们展示了我们在这个平台上进行的大规模现场实验的数据，这些实验涉及企业寻求衡量电子商务广告效果的平行实验。现场实验使我们能够评估可能的竞争干扰的强度，并使用真实平台的真实数据评估我们提出的估计器和决策规则的性能。这可以作为该框架的实证说明。实证应用和结果现场实验涉及16个实验性广告活动，于2018年9月在JD上进行为期三天的平行实验。通用域名格式。这些实验包括大约2200万用户。我们对实验数据的分析表明，广告对几个广告活动的广告客户结果有相当大的影响。在整个实验活动中，我们发现竞争性互动占62%-67%的广告主效应，表明它可以实质性地改变焦点活动广告的效果，并且在数量上是显著的。

通过分析这些互动的来源，我们发现了分配变化和外部性都存在的证据，这表明这两种渠道在这个市场上都是相关的。通过对焦点活动实施非参数估计，我们发现它可以精确地恢复治疗效果（32768个竞争性治疗效果中的35%在5%的水平上具有统计显著性）。涵盖的治疗效果显示出显著的离散性（标准偏差约为平均治疗效果的77%），表明广告效果可能会受到竞争对手存在或不存在的实质性影响。ATE分布的分散性分析与评估我们所说的“环境不确定性”的重要性相关：它反映了企业对其竞争对手将进行广告宣传的不确定性。由于估计ATE有助于企业决策，因此ATE之间的高度分散表明考虑环境不确定性很重要。典型的做法是忽略这种分散。为了评估这一典型实践对决策的影响，我们计算了Usalestimator，该估计器通过独立计算测试用户和控制用户之间的平均值差异来衡量广告效果。我们评估了环境不确定性在多大程度上被无条件ATE估计的统计不确定性所捕获，如95%置信区间所示。我们发现，相对于可能的ATE全范围，该置信区间涵盖的ATE范围较小，仅覆盖全范围的7%左右。

总的来说，这表明，即使决策考虑了无条件ATE的统计不确定性，但由于忽略了环境不确定性的很大一部分，它的表现仍然很差。为了调查对决策的影响，我们考虑了一个简单的场景，在该场景中，企业仅决定是否在平台上做广告，为此，它使用平台通过平行实验报告的广告效果估计。我们考虑了三个简单的政策，企业可以使用这些政策来指导这一决策，这些政策使用的信息比ATE的整个分布更加有限。第一项政策（“默认ATE政策”）包括固定广告，前提是从典型的平均数差异估计器获得的无条件ATE高于广告成本。第二项政策（“综合ATE政策”）是平台评估所有竞争性待遇影响的政策，但仅向每个公司报告其平均值。最后，我们考虑的最后一个政策是，平台向企业报告，企业从实验中估计的ATE超过广告成本的可能性，然后企业根据此分布随机广告（“随机ATE政策”）。默认的ATE和随机化的ATE策略是启发式的，而集成的ATE策略可以由贝叶斯统计决策理论问题驱动。从经验上看，我们发现，在我们考虑的绝大多数情况下，综合ATE政策严格控制默认ATE政策，并进一步控制随机ATE政策。总的来说，我们从这些结果中得出了两个结论。首先，依赖天真无条件的ATE，忽视竞争互动，可能会导致许多错误和实验企业决策失误。

其次，对简单政策的评估有助于实际决策。他们指出，从非参数估计器获得的信息可以总结为一个简单易懂的量（即综合ATE），当通过平台计算并报告给实验企业时，可以使企业做出更好的决策。这可能是平台实现其实验报告和推荐框架中开发的理论框架的一种实用方法。论文的其余部分如下。我们首先讨论它与现存文献的关系。第二部分给出了一个简单的示例，概述了我们的框架、我们感兴趣的恢复对象、我们建议的实验设计以及我们考虑的决策理论问题。第3节包含常规设置中的这些功能。第4节给出了正式的识别结果，第五节讨论了从实验中获得的估计值到实验后设置的可移植性。第6节提供了两个估计量来恢复我们感兴趣的对象。第7节详细解释了我们是如何在JD上实现我们的实验的。通用域名格式。第8节描述了我们从实验中获得的数据，第9节介绍了我们的主要结果。最后，第10节结束。1.1相关文献本论文涉及实验、因果推理和数字广告的若干子文献。我们现在更详细地讨论这些关系。我们感兴趣的环境是在竞争性互动的环境中进行实验。因此，我们的工作涉及到最近研究网络外部性在从实验中学习中的影响的工作，以及关于测量本地实验干预的全球影响的想法，例如Heckmanet al。

（2000），Acemoglu（2010），Muralidharan和Niehaus（2017），Munro等人（2021），andWager和Xu（2021）。本文讨论了一个与本文献在概念上不同的问题。广义地说，这篇文献解决了从小规模本地实验中获得的效应推断到全球（市场或平台）水平效应的令人烦恼的问题。在全球层面实施的干预措施的效果可能不同于从当地实验中获得的效果，因为它们反映了对干预措施的最佳平衡反应。例如，当地实验研究的小规模干预措施，如向少数用户或工人提供couponsor或劳动力市场培训，可能不会在实验期间引起其他公司的市场反应；但当它们在全球层面实施时，可能会产生有意义的总价格反应或更激烈的劳动力市场竞争。这导致实验测量的效果与全球层面实施干预的实际影响之间存在差距。为了解决这个问题，本文献提出了创新的解决方案，从局部效应推断，以弥补与全球干预措施之间的差距。为了便于参考，我们参考了这篇局部全球差距文献。与本文献不同，本论文的重点不是从局部效应外推到全局效应的问题。相反，本研究的重点是了解同时进行的局部实验如何影响从整个实验中可以学到的东西。此外，目前的研究解决了一个问题，即在一个本地实验中可以学到什么取决于竞争对手的实验政策。

我们表明，这种依赖性影响到实验结束和必须实施政策时，效应到实验后阶段的可传递性。这两个问题都是新问题，在当前的本地-全球差距文献中没有解决。本文与当地的全球差距文献有一种概念上的关系，两者都旨在解决实验中的一个宏观问题，即在当地实验中测量的结果可能不是与决策相关的正确效果。在本文中，这是由于实施干预措施后，竞争对手的政策发生了变化，而在当地的全球差距文献中，这是由于在实施干预措施后，出现了全球最佳反应。从这个意义上说，我们认为我们的论文是对这一文献的补充，并概述了一种新的互动，这种互动源于与平台实验相关的竞争。我们的论文还与关于干扰实验的最新文献相关，例如社交网络和溢出效应（例如，Hudgens和Halloran，2008；Atheyet等人，2018；Imai等人，2021）。广义而言，本文献的主旨是适应实验单元之间存在相互作用的情况，因此违反了稳定单元处理值（SUTVA）假设。本文献调查了此类违反经文对治疗效果评估的影响，并制定了策略，以确定当地全球差距文献中提出的想法可用于将此处概述的影响外推至全球水平，但这超出了本文的范围。这种情况下的逻辑因果估计和估计。本文在概念上不同于此流。

在本文所考虑的环境中，干扰不是由于单位之间的相互作用而产生的，而是由于它们同时处于多个实验中，并且存在或不存在公司及其实验会影响单位对焦点广告公司的行为。因此，这里的交互不是因为实验单位（用户）之间的交互，而是因为实验实体（企业）之间的交互，所以SUTVA条件成立。因此，我们认为这里所考虑的问题在概念上不同于干扰文献所考虑的问题，因此，它们需要不同的解决方案。最后，本文与干扰文献之间存在一种概念关系，即在存在精确定义的相互作用的情况下，通过定义具有经验内容的新因果估计值，在有效治疗效果估计问题上取得进展。在这篇论文中，新的估计值是给定企业的因果效应，作为其竞争对手存在或不存在的函数；在干扰文献中，新的估计是在交互用户组中定义的给定企业的组级因果效应。总的来说，我们相信我们的作品是新颖的，是对这些文献的补充。本文还涉及通过实验测量数字广告效果的文献以及测量竞争中广告效果的实证文献。除了引言中引用的论文外，该交叉点的例子包括Degomes等人（2009）、Reiley等人（2010）、Lewis和Nguyen（2015）以及Lambrecht和Tucker（2013）。与我们的论文不同，本文献并不关注我们关注的平行实验所带来的挑战。从广义上讲，我们也为有关数字广告实验的大量文献作出了贡献。

为了简洁起见，我们对这些文献进行了简短的回顾，并将读者引向Gordon等人（2021）以及其中的参考文献，以获得最近的全面概述。从实验设计的角度来看，我们依赖于在大规模实施重叠实验的基础设施开发方面取得的进展（例如Tang等人，2010）。我们的特殊设计是全因子设计，旨在评估多个因素之间的交互作用。全因子设计早就被用于营销，至少可以追溯到巴克莱（Barclay，1969年）。本文利用这种结构和设计，在实际市场中开发具有经济内容的新评估。此外，在一定程度上，我们利用反事实政策记录来提高我们的估计精度，我们的工作与最近的文献有关，这些文献提出了提高统计效率的策略（例如，Johnson等人，2017年；关于全因子设计的教科书处理，请参见Montgomery（2017年）。Simester等人，2020年）。本文的一个贡献是展示如何将所有这些方面结合在一个连贯的实际系统中，该系统可以在复杂的、拍卖驱动的广告平台上大规模实现。2一个简单的例子本节介绍一个简单的例子来说明我们的框架。这个例子有三个目标。首先，使用一个更简单的符号，它定义了我们试图估计的对象。因此，它描述了我们在衡量广告效果时所考虑的竞争干扰的来源。其次，它为一个实验引入了全因子设计，该实验提供了数据，使我们能够估计广告效果，同时在平行实验发生时考虑竞争干扰。此外，它还显示了忽略这种干扰时测量广告效果的后果。

特别是，它表明，估计的对象难以解释，不能被视为与政策相关的治疗效果。第三，它讨论了拟议实验中测量的广告效果如何在实验发生后通知企业的决策。我们专注于一种我们认为既实用又合理的特殊方法。2.1利益对象考虑到一个广告市场，其中f和g两家公司竞争向用户展示他们的广告，并且只有一次机会让每个用户看到他们的广告。我们从f公司的角度出发，但对g公司的分析是对称的。公司f试图估计其广告ATE的预期效果，目的是使用该估计来更好地通知其决策，例如是否应该首先进行广告宣传。如果显示广告，则将f表对用户i的潜在结果表示为Yi f（f），如果显示g\'sad，则表示为Yi f（g），如果未显示广告，则表示为Yi f（0）。让af和Agbe分别指示f和g是否是广告，Wibe是用户i所接触到的广告的标识。我们定义pw（Af、Ag）≡ 公共关系Wi=wAf，Ag. 为了使f的广告具有相关性，它必须保持pf（1，Ag）>0。反过来，g要成为f的相关竞争对手，必须是pg（Af，1）>0的情况。自然地，pf（0，Ag）=pg（Af，0）=0。这种概率结构自然出现在竞争性广告的环境中，比如我们在这里考虑的情况，因为企业通常通过参与拍卖来竞争展示其广告。我们现在确定了日期。

让WAf，Ag成为用户可以接触到的一组广告。从用户i到表f的观察结果为Yi f=∑w∈W（Af，Ag）{Wi=W}×Yi f（Wi）。公司f的ATE是g广告政策的函数，我们用τf（Ag）表示，即τf（Ag）≡ E易建联f1，Ag-E易建联f0，Ag=∑w∈{f，g，0}PrWi=w1，Ag×EYi f（Wi）-∑w∈{g，0}PrWi=w0，Ag×EYi f（Wi）=∑w∈{f，g，0}pw1，Ag×EYi f（w）-∑w∈{g，0}pw0，Ag×EYi f（w）. （1） 方程式（1）强调了两种可能产生干扰的方式，每种方式都通过方程式右侧总和中的一个成分。首先，如果g’spresence影响f’sAD显示的概率，即pf（1，1）6=pf（1，0），则可能出现这种情况。我们将这种影响称为分配变化。其次，如果f的结果取决于g的存在，而f没有显示其ad，即如果Yi f（g）6=Yi f（0），则会产生干扰。我们将这种效果视为外部性。如果既不存在分配变化，也不存在外部性，则不存在干扰，因此τf（1）=τf（0）=τf.2.2实验下一步是结合g的实验可能性，只有当Ag=1时，才可能出现。让Eg作为g是否正在试验的指标，σgDenote表示我在g治疗组的概率，在这种情况下，我有资格看到g\'sad。因此，g的治疗组中的用户f的ATE为τf（1），而ing的对照组中的用户f的ATE为τf（0）。因此，企业f的总ATE是τf（1）和τf（0）之间的凸组合，权重由σg确定。例如，如果Af=Ag=1，则W（1，1）={f，g，0}，而如果Af=1且Ag=0，则W（1，0）={f，0}。要了解这一点，请考虑当Eg=1且σg给定时的第一个Yi fw。它如下所示：E易建联fAf，σg= Pr（Ag=1）E易建联fAf，1+ Pr（Ag=0）E易建联fAf，0= σgE易建联fAf，1+ (1 -σg）E易建联fAf，0.