在竞争激烈的广告市场中进行平行试验

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Parallel Experimentation in a Competitive Advertising Marketplace》
---
作者：
Xiliang Lin and Harikesh S. Nair and Navdeep S. Sahni and Caio Waisman
---
最新提交年份：
2019
---
英文摘要：
  When multiple firms are simultaneously running experiments on a platform, the treatment effects for one firm may depend on the experimentation policies of others. This paper presents a set of causal estimands that are relevant to such an environment. We also present an experimental design that is suitable for facilitating experimentation across multiple competitors in such an environment. Together, these can be used by a platform to run experiments \"as a service,\" on behalf of its participating firms. We show that the causal estimands we develop are identified nonparametrically by the variation induced by the design, and present two scalable estimators that help measure them in typical high-dimensional situations. We implement the design on the advertising platform of JD.com, an eCommerce company, which is also a publisher of digital ads in China. We discuss how the design is engineered within the platform\'s auction-driven ad-allocation system, which is typical of modern, digital advertising marketplaces. Finally, we present results from a parallel experiment involving 16 advertisers and millions of JD.com users. These results showcase the importance of accommodating a role for interactions across experimenters and demonstrates the viability of the framework.
---
中文摘要：
当多家公司同时在一个平台上进行实验时，一家公司的治疗效果可能取决于其他公司的实验政策。本文提出了一组与这种环境相关的因果估计。我们还提出了一种实验设计，该设计适合在这样的环境中促进多个竞争对手的实验。总之，这些可以被平台用来代表其参与公司“作为服务”进行实验。我们证明了我们开发的因果估计是通过设计引起的变化非参数地识别的，并给出了两个可伸缩的估计量，有助于在典型的高维情况下测量它们。我们在京东广告平台上实现了该设计。com，一家电子商务公司，也是中国数字广告的出版商。我们将讨论如何在平台拍卖驱动的广告分配系统中进行设计，这是现代数字广告市场的典型特征。最后，我们展示了一项涉及16位广告商和数百万JD的平行实验的结果。com用户。这些结果显示了在实验者之间的交互中扮演一个角色的重要性，并证明了该框架的可行性。
---
分类信息：

一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--

---
PDF下载：
--> Parallel_Experimentation_on_Advertising_Platforms.pdf (4.88 MB)

2022-6-14 08:57:07 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Facilitating Contribution parametrical Experimental SIMULTANEOUS

广告平台上的平行实验*Caio Waisman Navdeep S.Sahni Harikesh S.Nair Xiliang LinThis draft:2022年5月31日摘要本文研究了平行实验发生时，即多个广告商同时进行实验时，在线平台上广告效果的测量。它提供了一个框架，可以精确地说明平行实验是如何影响这一衡量问题的：虽然忽略平行实验会产生对现有广告平均效果的估计，但在广告竞争的环境中，这种估计的价值有限；此外，考虑到平行实验提供了一组更丰富的广告效果，可以捕捉到广告商因竞争而面临的真实不确定性。然后，它提供了一个实验设计，可以产生数据，让广告商评估这些影响，并在京东上实现这个设计。com，一个大型电子商务平台，也是数字广告的发布者。使用传统的和基于核的估计器，它得到的结果从经验上说明了这些影响是如何对广告商的决策产生重大影响的。最后，它表明竞争干扰可以通过简单的指标进行总结，以帮助决策。关键词：实验、A/B/n测试、因果推理、数字广告、电子商务、平台*这篇文章之前的标题是“在竞争激烈的广告市场中进行平行实验”Lin、Nair和Waisman是JD的一部分。这项研究开始的时候。视图显示的是作者的视图，而不是JD的视图。通用域名格式。数据、机构背景和实施的某些方面被掩盖，以解决业务一致性问题。

我们感谢王丽晶的研究协助，感谢郝军、林杰克、吴磊和严保罗在项目期间的支持、合作和协作。感谢Carlos Carrion、Dean Eckles、Günter Hitsch、Carl Mela、Duncan Simester、Stefan Wager；参加亚马逊、Carlson UMinn、Facebook、Fuqua Duke、Haas Berkeley、Kellogg Northwestern、Kenan Flagan UNC、Tepper CMU以及2020年联合统计会议、营销科学、虚拟定量营销研讨会和2019年选择研讨会，以获得深思熟虑的评论和建议。请联系caio的作者。waisman@kellogg.northwestern.edu（怀斯曼），纳夫迪普。sahni@stanford.edu（萨赫尼），哈里克斯。nair@stanford.edu（奈尔）或xilianglin@gmail.com（Lin）用于通信。早期版本：2019年3月26日、5月28日。1简介实验是数字时代的一个背景。现代科技公司每天都会在其数字平台上进行数百项或更多的随机对照试验，以衡量广告等各种干预措施的效果，并制定商业战略。现在，一些数字平台向其参与的客户提供“实验即服务”，平台代表企业进行实验，并通过代理促进测量。例如，Adobe的目标A/B测试、谷歌和Facebook的网页优化、广告转换提升和品牌提升。平台上的实验激增，造成了竞争企业同时进行实验的普遍情况。

令人惊讶的是，虽然有关测量数字干预效果的实验文献如雨后春笋般涌现（例如，seeGordon等人，2021），但竞争企业为测量企业在广告等平台上的干预而进行的多重重叠实验的影响却受到了非常有限的关注。遵循的典型方法是将用户独立随机分为多个实验，并分别评估每个实验的效果，忽略了正在进行多个实验的事实（Kohavi et al.，2009）。隐含地，这种方法假设交叉实验的交互作用不会发生，或者，如果发生，任何此类交互作用对因果测量的定量结果都是有限的。因此，在数字广告实验的背景下，广告竞争对此类实验的影响并不是文学界关注的焦点。然而，忽视这种方式的互动与我们认为广告在市场上的运作方式是不一致的，比如竞争平台。从根本上讲，企业广告的效果取决于竞争对手的行为。这种竞争性互动的可能性早已在营销文献中得到承认。这类工作的例子跨越了五年，包括Clarke（1973）、Keller（1987）和Burke and Srull（1988），以及最近的Anderson and Simester（2013）、Sahni（2016）、Simonov et al.（2018）和Simonov and Hill（2021）引用了一个非详尽的列表。在任何时候，企业广告的有效性可能会增加或减少，这取决于其竞争对手也在做广告。例如，查看亚马逊的广告可能会降低消费者想到沃尔玛并在沃尔玛购物的可能性。通用域名格式。在这种情况下，阿纳德提醒消费者沃尔玛。亚马逊广告发布后，com可能会变得更加有效。

另一方面，如果Groupon的广告提供了无与伦比的折扣，其存在可能会妨碍沃尔玛的广告发挥作用。因此，一家企业的广告效果评估经验取决于实验期间哪些竞争对手在做广告。

根据这一基本原理，这些发现还取决于哪些竞争对手同时进行了自己的广告效果实验。鉴于在广告实验中对广告竞争的处理有限，沿着这些思路的一些非常基本的问题仍然没有得到很好的理解，包括：o在竞争企业并行实验的平台上，可能发生的竞争性交互的性质是什么，以便许多用户同时参与多个实验？在现代现实市场中，这种互动的数量意义是什么忽视此类平行实验对干预效果的因果推断有什么后果？什么因果估计是通过简单的均值差异估计器来衡量的，该估计器忽略了平行实验，并将企业广告的平均治疗效果（此后ATE）估计为其测试组和对照组的均值差异？该估算是否可解释且与政策相关在竞争互动显著的环境中，可以确定哪些内部一致的因果估计？实验可以恢复哪些估计？什么样的实验设计和估计员能够持续准确地恢复这些估计值？如何在现代平台上实际实施这些估计值到实验结束后阶段的可移植性如何，竞争企业必须根据从实验中学到的知识来决定自己的实践能力对这些问题的认识（或缺乏认识）如何影响企业的决策，如何实际利用这些问题进行现实决策？本文的目标是直接解决这些开放性问题。

我们这样做的重点是通过竞争企业进行平行实验，以衡量广告对数字出版商的影响。论文中的一个妙语是，当竞争是为了稀缺资源，例如数字出版商的广告位时，平行实验可以显著影响利益干预的衡量；在这种情况下，衡量广告的效果。因此，了解它如何影响我们想要衡量的效果；准确确定所需的因果估计；开发有效的实验设计和估计器，能够在实际市场中一致、准确地测量这些估计值；而了解如何在实验后利用它们来促进实际决策将成为关键。本文概述了这些问题的解决方案；在大型广告平台上实现；并使用我们在该平台上实现的大规模实验的数据以经验的方式说明了这些问题。贡献本文有七个主要贡献，我们将按顺序进行讨论。首先，我们证明平行实验可以充当一把双刃剑。一方面，考虑到平行实验，可以根据焦点公司竞争对手的存在来估计广告的丰富效果，这有助于未来的决策，例如该焦点公司是否应该首先进行广告宣传。由于广告平台是唯一能够解释竞争对手在实验过程中行为的一方，这突出了他们作为企业相关信息提供者的重要性。

另一方面，通常在评估广告效果时忽略平行实验会导致评估对象的可解释性非常有限，对决策几乎没有用处。我们正式地展示了这一点，并提出了一组新的因果估计，在存在竞争互动的情况下具有精确的解释性。其次，我们概述了一个正式的框架，该框架明确推导了焦点公司的广告效果及其对竞争对手广告政策的依赖性。在此框架下，我们可以显示竞争干扰效应的来源，我们称之为分配变化和外部性。分配变化指的是，由于广告时段竞争的变化，竞争对手的存在可能会潜在地改变焦点公司的广告是否显示。分配的更改自然会影响ATE估计值，因为广告仅在显示时才会影响用户。外部性是由于竞争对手广告的存在而导致的焦点企业从广告中获得的回报的差异。在我们的实证应用中，我们调查了分配变化和外部性的存在。广告平台的竞争力越强，这些影响就越可能显现出来。例如，在一个竞争性更强的平台上，竞争性的实验活动可能更容易发生。第三，我们概述了一个实验设计，以调查竞争性干扰。这是一个全因子设计，其中每个因子都是一个企业是否在做广告的指标。我们证明，遵循此设计的实验产生的数据可以恢复企业相对于竞争对手存在的异质广告效果。这表明我们提出的因果估计是确定的。

我们还表明，这些估计值可以转移到实验结束后的阶段，企业需要根据在实验阶段学到的知识做出决策。当实验结束时，跨企业互动的性质发生了改变，我们表明，没有明确纳入变化互动影响的典型估计是不可移植的。第四，我们提出了两个可以完成这项任务的估计量。第一种是对每个因子组合分别进行的均值差估计，可以从简单的线性回归中获得。然而，该估计量与因子组合的数量不具有很好的比例关系。在我们的实证应用中，我们考虑了对16家企业的一项实验，得出了2=65536个这样的组合，这意味着对于每个企业，我们需要评估每个活动的影响在2=32768个可能的场景中如何变化，这取决于每个竞争对手的存在。这激发了我们的第二个估计器，它依赖于非参数计量经济学的最新进展来汇集来自不同组合的观测数据，并在它们之间借用信息，而不是孤立地处理每个组合。我们表明，这种估计即使在高维情况下也是有效的，并且与之相关的带宽具有可解释性的诱人优势：它们识别出最强烈推动竞争干扰的竞争对手。据我们所知，这是首次将这种非参数估计应用于全析因设计和跨竞争州的合并，这可能是独立的利益。第五，我们展示了如何利用焦点企业对其竞争对手存在的广告效果的因果估计来进行决策。

我们提出了一个简单的决策理论问题，其中企业唯一的决策是是否做广告，它只知道自己的广告效果，而不知道竞争对手的广告效果以及他们是否会出现。这个问题的解决方案可以直接从我们可以恢复的因果估计中获得。然而实现此解决方案的一个挑战是，此类估计的数量可能很高（例如，在我们看来，一个实验性活动展示其广告的能力，推动了分配的变化。在一个更具竞争力的平台上，一个竞争性的实验性活动的广告也更有可能展示给一个实验性活动的控制组中的用户，推动外部性。经验练习每个企业都有30000多个这样的估计）。这表明，企业可能必须非常复杂，才能实施我们获得的解决方案。因此，我们建议使用一种更简单的启发式方法，该方法在我们的环境中表现良好，并且只依赖于通过对不同估计值进行积分而获得的单个对象，可以在计算复杂度有限的更实际的环境中使用。