在竞争激烈的广告市场中进行平行试验

当κ非常低时，大多数酸盐超过它，因此，根据方程式（24），在大多数情况下，最佳决策是广告；因此，无论采用何种政策，事前出错的概率相对较低。类似的结果适用于κ的高值，该值超过了大多数ATE，因此在大多数情况下，最佳决策是不发布广告，这是所有策略都能捕捉到的。因此，当κ的值相对于ATE的范围处于中间时，我们所考虑的政策之间的差异会更大。然而，从经验来看，我们发现综合ATE政策在这三种情况下表现最好。当一次只能出现竞争对手时，它严格控制默认ATE策略和随机ATE策略。当所有情况都可能发生时，且仅当广告客户对其ATE总广告客户有重大估计时，才会考虑，在κ的绝大多数值上，综合ATE策略支配着随机ATE策略（综合ATE策略的平均事前错误概率约为23%，而随机ATE策略的平均事前错误概率约为30%）。总的来说，我们从这些结果中得出了两个结论。首先，依靠天真无条件的ATE，忽视竞争互动，可能会导致许多错误和低质量的企业实验决策。其次，对简单政策的评估有助于实际决策。他们指出，从非参数估计器中获得的信息可以总结为一个易于解释的数量（即综合ATE），当通过平台计算并报告给实验公司时，可以导致更好的决策。

这可能是平台将其开发的理论直觉实现到其实验报告和决策建议框架中的一种实用方法。10结论当多家公司进行平行实验时，对平台上的实验进行SAN评估。核心关注点是企业之间的平衡模板竞争引起的相互作用，以及此类相互作用对此类平行实验下治疗效果测量的影响。本文的主要观点是，当企业之间的竞争非常激烈时，例如当许多广告商在出版商上争夺容量有限的广告位时，这些互动会对通过平台实验测量的因果效应产生微不足道的影响。当focaladvertiser向目标用户展示其广告的机会受到竞争对手的影响时，就会出现一种交互渠道，我们称之为分配变化。另一种交互渠道，我们称之为外部性，发生在焦点广告商的广告对目标用户的影响受其对竞争对手广告的曝光影响时。在竞争平台上，这两种交互都变得显著，并影响在实验过程中测得的结果。当实验结束时，这些相互作用的性质会发生改变，从而导致对实验阶段中获得的测量值到实验后阶段的可移植性的担忧，在实验后阶段，需要根据他们在实验阶段学到的知识做出决策。围绕这一主题，本文完成了以下工作：1。这表明平行实验可以起到双刃剑的作用。一方面，它有助于评估一组稳定的治疗效果，这些效果可以转移到实验后的场景中。

另一方面，它降低了简单估计器的可解释性和经验内容，例如给定广告客户的测试组和对照组的平均值差异，而这些测试组和对照组忽略了此类平行实验；2、它概述了一个正式分析这些相互作用的框架，并提出了一组新的因果估计，这些估计在存在竞争性相互作用的情况下具有精确的解释性，并且是可移植的；3、概述了一个能够调查竞争性干扰的简单平台实验设计，并证明在该设计下，提出的新因果估计是确定的；在这种设计下，它给出了两个便于推断的估计量。其中一位估计员利用非参数计量经济学的最新进展，汇集来自不同竞争状态的观察结果，以处理企业的治疗效果对其竞争对手的存在或不存在的高维依赖性，并通过大量平行实验扩展情况，同时促进可解释性；它展示了在广告活动的停留或退出问题的背景下，这些影响如何影响实验后的决策。还介绍和评估了一些简单的启发式算法，这些算法可用于对企业和平台的计算需求有限的实际环境中；6、将这些方面整合到为京东打造的广告实验平台中。com，一个电子商务平台和广告发布商，展示了如何将实验性设计构建成一个拍卖驱动的市场，以及该平台如何恢复相关的因果估计；7.

它还提供了在该平台上进行的大规模现场实验的数据，记录了相互作用的重要性，并作为拟议框架的真实实证说明。虽然本文的重点是广告，但在其他场景中也会出现类似的问题，例如在受试药物与其他药物有相互作用的情况下对药物进行实验测试；或者在定价实验中，一家重点企业的价格影响取决于其他企业提供的价格。因此，本文提出的想法可能有助于开发实验方法，以更广泛地理解实验中相互作用的情况。参考Acemoglu，D.（2010）。发展经济学中的理论、一般均衡和政治经济学。《经济展望杂志》，24（3）：17–32。Anderson，E.T.和Simester，D.（2013）。竞争市场中的广告：产品标准、客户学习和转换成本的作用。《营销研究杂志》，50（4）：489–504。Athey，S.、Eckles，D.和Imbens，G.W.（2018）。网络干扰的精确p值。《美国统计协会杂志》，113（521）：230–240。Barclay，W.D.（1969年）。定价实验中的析因设计。营销研究杂志，6（4）：427-429。Burke，R.R.和Srull，T.K.（1988）。广告的竞争干扰和消费者记忆。消费者研究杂志，15（1）：55–68。Clarke，D.G.（1973年）。销售广告交叉弹性和广告竞争。营销研究杂志，10（3）：250–261。Gomes，R.、Immorlica，N.和Markakis，E.（2009）。关键词拍卖中的外部性：实证和理论评估。Leonardi，S.，第五届网络和互联网经济学国际会议（WINE 2009）编辑，第172-183页，德国柏林。斯普林格。戈登，B。

R、 ，Jerath，K.、Katona，Z.、Narayanan，S.、Shin，J.和Wilbur，K.C.（2021）。数字广告市场的不足。《市场营销杂志》，85（1）：7–25。Heckman，J.、Hohmann，N.、Smith，J.和Khoo，M.（2000年）。社会实验中的替代和辍学偏见：一项影响广泛的社会实验研究。《经济学季刊》，115（2）：651–694。Hudgens，M.C.和Halloran，M.E.（2008）。走向干扰因果推理。《美国统计协会杂志》，103（482）：832–842。Imai，K.、Jiang，Z.和Malani，A.（2021）。两阶段随机实验中干扰和不服从的因果推理。《美国统计协会杂志》，116（534）：632–644。法学博士。com（2021）。jzt中的转换升降机。https://jzt.jd.com/.访问日期：2021 8月13日。Johnson，G.A.、Lewis，R.A.和Nubbemeyer，E.I.（2017）。鬼广告：提高衡量在线广告效果的经济性。《营销研究杂志》，54（6）：867–884。Keller，K.L.（1987）。广告记忆因素：广告检索对品牌评价的影响。消费者研究杂志，14（3）：316–333。Kohavi，R.、Longbotham，R.、Sommer field，D.和Henne，R.M.（2009）。网上对照实验：调查与实践指南。数据挖掘和知识发现，18（1）：140–181。Lambrecht，A.和Tucker，C.（2013年）。从通用到品牌：搜索广告的溢出模式。《营销研究杂志》，50（5）：561–576。Lewis，R.和Nguyen，D.（2015年）。显示广告对消费者搜索的竞争溢出效应。定量营销与经济学，13（2）：93–115。Li，Q.、Ouyang，D.和Racine，J.S.（2013）。分类半参数变系数模型。《应用计量经济学杂志》，28（4）：551–579。蒙哥马利特区（2017年）。实验设计与分析。约翰·威利父子公司。Munro，E.、Wager，S.和Xu，K.（2021）。

市场均衡中的治疗效果。arXiv:1109.6263。Muralidharan，K.和Niehaus，P.（2017）。大规模实验。《经济展望杂志》，31（4）：103–124。Narayanan，S.和Kalyanam，K.（2015）。搜索广告中的位置效应及其衡量因素：一种回归间断方法。营销科学，34（3）：388–407。Reiley，D.H.、Li，S.-M.和Lewis，R.A.（2010）。北方曝光：测量搜索广告之间外部性的现场实验。华盛顿特区帕克斯，《第11届ACM电子商务会议记录》（EC’10）编辑，第297-304页，美国纽约计算机械协会。Rivest，R.L.（1992年）。MD5消息摘要算法。互联网RFC 1321。Sahni，N.S.（2016）。广告溢出：来自在线现场实验和广告收益影响的证据。《营销研究杂志》，53（4）：459–478。Simester，D.、Timoshenko，A.和Zoumpoulis，S.I.（2020年）。有效评估目标政策：改进champion vs.challenger实验。管理科学，66（8）：3412–3424。Simonov，A.和Hill，S.（2021）。品牌搜索上的竞争广告：偷车和点击质量。营销科学，40（5）：923–945。Simonov，A.、Nosko，C.和Rao，J.M.（2018年）。在赞助搜索中，竞争和排挤品牌关键词。营销科学，37（2）：200–215。Tang，D.、Agarwal，A.、O\'Brien，D.和Meyer，M.（2010）。重叠实验基础设施：更多、更好、更快的实验。Rao，B.和Krishnapuram，B.，编辑，《第16届ACM SIGKDD知识发现和数据挖掘国际会议论文集》（KDD’10），第17-26页，美国纽约。ACM。Wager，S.和Xu，K.（2021）。在平衡状态下进行试验。管理科学，67（11）：6694–6715。Waisman，C.、Nair，H.S.和Carrion，C.（2022年）。实时竞价拍卖中广告的在线因果推理。

arXiv预印本arXiv:1908.08600。附录A证明A。1定理1的证明Fix t，Et和Ot。由于假设1，实验生成了所有可能的治疗和对照组合的数据。也就是说，所有组合如下：/∈ Et公司∪Ot，则所有i的Di f t=1∈ t；如果f∈ Ot，则所有i的Di f t=0∈ t；如果f∈ Et，则Di f t=1或Di f t=0。如备注2所述，如果我属于g的治疗组，那么我有资格看到g\'sad，因此Digt=1等于Agt=1，如果我属于g\'s对照组，则相反。因此，每个部分治疗分配，Di，-实验中观察到的f，t对应于A-f，t受约束，如果g∈ Ot，则Agt=0，如果g/∈ Et公司∪ Ot，则Agt=1。此外，假设2保证实验中的ad序列曝光概率与非实验环境相对应。把这些结果放在一起，结果如下Yi f tDi f t，Di，-f，t= EYi f tAf t，A-f，t. （A.1）然后得出方程式（8）的结果。A、 2定理2Fix t，eta和Ot的证明。我们知道：（i）该实验生成了所有可能的治疗和对照组合的数据；和（ii）对于部分治疗分配Di中的每个i，-f，t对应不同的a-然而，我们现在不知道，或者忽略，Di，-因此，可以恢复的对象是EYi f tDi f t，Di，-f，t, 如等式（10）所示，但与Di积分，-f，t给定σ-f，t。换句话说，确定的对象是方程式（11）中的对象。固定σ-f，t，所有部分治疗分配的集合由D给出σ-f，t. 由于假设1，每个部分治疗分配的概率为isPrDi，-f，tσ-f，t=∏g级∈F \\{F}σDigtgt1.-σgt1.-迪格特。

（A.2）因此，实验确定Yi f tDi f t，σ-f，t= 公共关系Di，-f，tσ-f，t×EYi f tDi f t，Di，-f，t. （A.3）最后，从备注2可以看出Yi f tDi f t，σ-f，t= EYi f tAf t，σ-f，t. （A.4）然后得出方程式（12）的结果。A、 3定理3的证明，考虑到表f∈ F、 固定E和Ot。假设1确保遵守所有可行的治疗任务。考虑一个这样的治疗任务，Dit。假设3，pWtDi f t，Di，-f，t根据观察确定，其完整治疗分配为Dit。此外，假设2意味着实验期间的显示概率对应于未经实验保持的显示概率。因此，对于与此Dit等效的ATT，它遵循PWTDi f t，Di，-f，t= pWt公司Af t，A-f，t, （A.5）确定结果。A、 定理4的证明在所述条件下，定理3成立。修复实验中观察到的t、Et、OTA和DIT，并将At作为DIT等效的广告策略向量。考虑人f∈ F、 如果pWtDi f t，Di，-f，t= pWt公司Af t，A-f，t> 0，则在Wit=W时观察到Yi f t（W）。因此，由于uf Wt=EYi f t（智慧）Wit=W, 此对象已识别。