在竞争激烈的广告市场中进行平行试验

特别是，我们假设，对于FIRM f，观察数据为Yi f，Di f，Di，-f、 Ti公司ni=1，其中Ti∈ T表示用户i属于哪个目标受众，n表示观察总数。6.1线性回归τf t的最简单估计量A.-f，t由通常的平均数差异给出。固定Ti=并让Di，-f=d是相当于A的部分治疗分配-f，t.定义τf（d，t）=∑ni=1Di，-f=d，Ti=tDi供参考f∑ni=1Di，-f=d，Ti=tDi f-∑ni=1Di，-f=d，Ti=t(1 - Di f）Yi f∑ni=1Di，-f=d，Ti=t(1 - Di f）。（15） 在标准条件下，τf（d，t）与τf t一致A.-f，t在通常情况下渐近正态√n速率。方程（15）中的估计器对应于Yi fon Di线性回归斜率系数的OLS估计器，该线性回归仅融合观测值，使得Di，-f=d，Ti=t。每个可能的d和t的相应估计量可从以下回归方程i f中获得=∑t型∈T{Ti=T}∑d∈D（σ-f、t）Di，-f=dαf（d，t）+τf（d，t）Di f+ei f（d，t）, （16） 其中Dσ-f，t对应于给定σ的所有可能的部分处理赋值集-f，and ei f是错误项。6.2基于核的估计器上述方法是有效的，但它可能面临一个重要的实际挑战：某些完整处理分配的观测数量可能会受到限制，并阻碍相应估计器的精度。虽然假设1和备注2（i）保证，如果有足够多的人口，备注4将得到满足，但从实验中获得的样本仍然有限，尤其是如果样本数量很大的话。例如，在下面的应用程序中，我们考虑了一个针对一个目标受众和16家不同公司的实验。因此，对于每家公司，有2=32768个不同的状态需要回收。

为了使第6.1节中给出的估计值在每个ATE有100个观测值的情况下可行，这可以说是一个适度的样本量，需要数百万个观测值。这说明了为什么汇集观察结果并使用依赖于平滑的估计器是一种有吸引力的方法，我们将遵循下面的方法。我们使用一种方法，通过核平滑将具有不同治疗任务和属于不同目标受众的观察结果汇集在一起。这种方法背后的直觉是估计τf tA.-f，t它从不同的观察中借用信息-f，t，比如，A-f，t，同时使用原则性方法确定要借用多少信息。它量化了-f、T和A-如果它是低的，它会借用很多信息；否则，借来的信息很少。在该限制条件下，未使用任何信息，估计值崩溃为第6.1节中给出的值。这些差异，以及因此而借用的信息量，都是由控制观察结果汇集的带宽捕获的，我们现在详细讨论了这一点。我们使用Li等人（2013）介绍的估计器，他们使用设计用于平滑分类变量的核函数。据我们所知，这是第一项在析因设计背景下实施该估计器并用于衡量广告治疗效果的研究。现在，我们给出有关此估计量的更多详细信息。考虑agiven Di的回归方程，-fand Ti：Yi f=αfDi，-f、 Ti公司+ τfDi，-f、 Ti公司Di f+ei fDi，-f、 Ti公司= Xi fθfZi f公司+ ei f公司Zi f公司, （17） 其中Xi f=1，Di f, Zi f=hDi，-f、 Tiiandθf（·）=αf（·），τf（·）.设Zi f vbe为向量Zi f的vthcoordinate。

核函数为：lZi f v，zv，λv=1，如果Zi f v=zvλv，否则，（18）其中，zv是Zi f vcan取的值之一，λ是与Zi f v相关的带宽。然后，总内核由以下公式给出：LZi f，z，λ=∏vlZi f v，zv，λv=∏vλ{Zi f v6=zv}v，（19），其中z是收集所有zv的向量，λ是包含所有带宽的向量。估计值为：^θf（d，t）=^θf（z）=nn∑i=1Xi fXi fLZi f，z，λ!-1nn∑i=1Xi fYi fLZi f，z，λ!, （20） 我们使用z=[d，t]。Li等人（2013）建议通过遗漏一项交叉验证计算λ。精确地说，λischosen To minimizeCV（λ）=nn∑i=1hYi f- Xi f^θ-i、 f级Zi f，λi、 （21）式中^θ-i、 f级Zi f，λ按照方程（20）计算，但不使用观测值i，即^θ-i、 f级Zi f，λ=n∑k6=iXk fXk fLZk f，Zi f，λ!-1n∑k6=iXk fYk fLZk f，Zi f，λ!. （22）Li et al.（2013）进一步表明，得出的估计值是一致的且渐近正态的。更值得注意的是，该估计的收敛速度为√n、 它比典型的基于核和机器学习的估计器更快，这是一个很有吸引力的特性。7实验本节描述了我们在第3节中介绍的实验的实现。实现JD第3节中所述的析因设计。com的转换电梯系统（京东，2021）。转换电梯系统是我们设计的一款按需产品，允许广告商在京东的adinventory上进行实验，以评估其广告活动的表现。在将我们概述的统计框架转化为实际运作的系统时，需要处理许多特殊性和细节。方程式（9）中给出的ads等级必须适应用于服务ads的拍卖驱动分配系统。此外，可扩展性要求在实验过程中减少服务ads的延迟，并提高实验数据分析的统计精度。

这些特殊性在大规模广告拍卖环境中很常见，因此这些实现细节本身可能更为普遍。接下来，我们将分别描述它们。7.1拍卖驱动的广告市场与大多数数字广告平台一样，京东上的大量广告库存通过实时竞价（RTB）拍卖进行分配。过程如下。广告商首先成立了campaignson JD。从今以后，我们将参考出版商数字房地产上的一个特定位置，其中的广告可以显示为“广告位置”每个活动都指定了一个目标受众，一组属于这些目标受众的用户可以接触到广告的广告位置，一组与活动相关的创意或创意（即图像），以及一组规定活动投标政策的规则。当用户到达JD上的广告位置时，系统会实时检索一个队列，其中包含有资格向该用户显示其广告的广告商列表。然后，该列表根据专有广告质量分数进行排序，该分数包括多个变量，包括出价。这些广告质量分数生成的排名决定了方程式（5）中的哪些ADI。除了投标书之外，使用此质量分数反映了出版商的愿望，即确保体验减少用户烦恼，并为生态系统中的所有参与者创造长期价值。大多数数字平台上的节目广告都是以这种方式销售的（例如，Narayanan和Kalyanam，2015）。7.2前置移动广告在系统内，本文报告的具体实验与京东应用程序或移动页面上的“前置”广告位置有关。这些广告位于应用程序或移动主页的顶部。图4的面板（a）显示了该应用程序的屏幕截图。

有8个正面聚焦广告位置，每个位置可以在上部矩形中显示不同的广告。Auser一次只能看到一个正面聚焦广告。图4：京东应用程序上的前置广告位置（a）前置广告（绿色方框内）（b）登录页（点击广告到达）当用户到达京东应用程序或移动主页时，他们会收到第一条广告。几秒钟后，横幅会自动旋转到下一个广告。用户也可以通过滑动手动旋转广告。一旦用户点击广告，应用程序就会引导他们进入“登录页”，其中会显示更多信息，包括特色产品的放大图像、促销优惠券和相关产品的集合。图4的面板（b）显示了一个示例。如果用户单击登录页上的某个产品，他们将进入ata产品详细信息页面，该页面包含有关该产品的详细信息，包括价格、优惠券和评论。然后，他们可以将产品添加到购物车中并进行购买。7.3广告服务机制背后的细节广告主之所以重视前沿广告位置，是因为其突出性和大量曝光，并将其视为优质广告库存。他们还可以推动对产品详细信息页面的访问，这反过来又是转换的关键。面向前沿的广告拍卖具有与我们现在讨论的工程实验相关的特定特征。首先，在为此类库存设置活动时，广告商需要指定适用于所有用户的基础级出价，然后选择可能适用溢价出价的特定目标受众。这意味着没有明确排除任何用户；所有排除和包含均由广告商指定的投标引起。广告商也不能指定一个特定的正面广告位置进行竞价。

他们只能指定他们希望在任何可用的正面聚焦广告位置显示广告。当用户到达时，以该用户为目标的广告商将参与RTB拍卖，以竞争在可用的前端聚焦广告位置显示其广告。一些职位可能因合同协议而无法获得。在此过程中，将为每个广告位置独立生成拍卖队列。根据技术规范，这些队列可以相等也可以不同。队列排名基于上述质量分数。用户体验控制系统进一步过滤排名队列。该系统试图避免在给定的印象机会下，同一广告商在不同的以正面为焦点的广告位置重复广告。额外的用户体验控制，如步调，也纳入了广告服务规则。一旦队列清除了该系统的过滤器，相应广告位置的排名靠前的广告就会得到服务。这就是生成第3节排名的过程。提供的广告与是否实际看到该广告之间有区别。服务是指将广告从服务器发送到用户应用程序的过程。为了减少延迟，所有八个位置的广告都会一次性提供给用户。在某个广告位置看到所服务的广告之前，用户可能会选择不看或离开应用程序的前焦点空间。因此，与所送达广告的“合规性”是用户的决定，这将影响下文讨论的ATE的解释。一般来说，索引越低的广告位置越容易被用户看到，因为它们显示得越早。这整个机制的复杂性的一个含义是，要获得与广告相关的反事实并非易事。

如果广告商选择不向auser显示其广告，则排名队列中的下一个广告将根据此用户体验控制系统过滤器提供。由于只有平台可以实时检索，因此只有平台可以使用我们描述的精确构造的反事实来运行此实验。这就是开发“实验即服务”产品的动机挑战是在这个复杂系统的背景下设计实验。7.4设计实验设计本实验需要制定一种随机化策略，一种适应广告服务机制的方法，以便在实验中为用户提供正确的事实和反事实广告，以及一种记录通过本实验获得的数据的方法。我们现在讨论每个组件。7.4.1随机化在实验开始时，工程系统首先检索实验中的所有广告客户，并为每个广告客户分配活动索引。然后，它使用hashMD5准随机化方法（Rivest，1992）为每个用户i和广告客户f分配一个常见的随机化种子：Di f=散列分割（用户id、活动索引、种子），其中Di f是用户i对广告客户f的治疗分配。这种方法有效地存储了一致的随机化方法，而不是对每个用户i的总分配向量进行排序，并且有助于减少在线系统中的延迟。否则，它将不得不存储数百亿份治疗任务，并给在线广告服务系统带来沉重的成本。

哈希方法仅将用户id、活动索引和种子作为独立的，因此，用户被独立地分配到广告商的治疗组或控制组，因此假设1成立。7.4.2服务adsAt广告服务时间，每个广告印象机会的队列如上所述生成，并通过拍卖和用户体验控制系统。为了在系统中进行实验，我们首先从导入队列中删除所有f，使Di f=0。这确保了用户i只有在Di f=1时才有资格看到f的广告，否则就没有资格看到f的广告。排名队列中剩余的广告将再次通过用户体验控制系统，并将排名靠前的广告提供给用户。通过这种方式，我们将广告位置分配给最符合条件的广告，这对平台来说是经济有效的，同时确保在实验进行过程中用户体验不会降低。图5显示了一个示例来说明此系统。我们关注的是一个以正面广告为主的位置，以及只有三个广告商的情况。广告商1和2正在进行平行实验，广告商3则没有。用户i被独立分配给治疗组和对照组1和2，这决定了他们的完整治疗分配Di。在该用户的拍卖中，可能的广告是广告1、广告2和广告3。图5说明了在每个可能的全面治疗任务下，将提供哪些ad。例如，在拍卖队列的第一列，广告1位于顶部，其次是广告2，最后是广告3。如果用户在广告客户1的治疗组中，则无论他们是在广告客户2的治疗组还是对照组中，他们都将得到1号服务。如果用户在广告客户1的对照组中，但在广告客户2的治疗组中，他们将被视为广告2，这将是拍卖特定的反事实广告。

最后，如果用户处于1\'s和2\'s对照组，他们将接受广告3.7.4.3多次广告曝光。实验可以持续数天，并且涉及多个正面聚焦广告位置。在实验过程中，用户可以多次访问京东的app。因此，工程系统需要处理用户参与多个拍卖的情况。设计的关键是，在整个实验过程中，将用户分配到治疗组或对照组的任务是一致的，这是由提交的哈希拆分来保证的。图6显示了这在工程系统中的工作方式。用户i在实验期间参与拍卖，根据上述系统，在每次拍卖中，他们有资格或没有资格根据其分配状态观看广告。结果变量是指他们在实验过程中的累积行为。7.4.4反事实政策记录和解释数字广告的影响可能很小，可能需要精确估计数十万用户的数据。为了提高精确度，作为engineeredsystem的一部分，我们在丢弃控制广告之前记录拍卖队列，如果没有任何公司进行实验，则表示counterfact广告队列。在这个反事实场景中，记录队列上的顶部广告将提供给用户，因此我们将其称为“拍卖特定反事实广告”。对于每次拍卖，我们还记录实际提供给用户的广告。我们称之为“拍卖特定事实广告”。在统计分析中，我们只考虑在至少一次拍卖中，事实上或相反事实上获得焦点实验广告的用户。

这确保了我们对治疗组中最有可能实际接受焦点广告服务的一组用户和对照组中最有可能反向接受焦点广告服务的一组等效用户进行分析。通过从分析中删除低倾向接受焦点广告服务的用户，我们提高了精确度。与对照组相比，我们测量的ATE反映了分配给治疗组的效果。分配给治疗组意味着用户有资格获得焦点广告客户的ADS，而分配给控制组意味着他们没有资格。因此，我们衡量的效果应该被解释为，为了将焦点广告商的广告视为发布者将在其平台上为广告商的广告提供服务的用户的子群体，我们的意图是处理这种效果。与第3节中给出的设置相关，我们将重点放在子种群上，因此备注1（ii）适用于严格的不等式。8数据我们现在描述我们从实施实验中获得的数据。我们首先介绍了一系列随机化检查，以确认实验成功实施。我们的数据最初对应于2018年9月为期三天的27个活动的前沿广告平行实验。在这个实验中，70%的用户被独立地分配到每个活动的治疗组，剩下的正如我们在第3节中提到的，没有用户被明确排除在观看前置广告之外，因此所有活动都面向相同的目标受众；因此，在本分析中，我们忽略了处理多个目标受众的问题。30%分配给每个活动的控制组。在27个活动中，我们只保留了至少有200000实验用户的16个活动。