在线广告中卖家的投资组合分配

因此，对于树中相邻的广告，估计和实际预期回复率之间的差异可能会变得相关。经验数据可用于估计ads之间预期收益的协方差。协方差模型可基于ads在响应率估计的atree模型中是否共享分支或分支（参见Agarwal等人[1]、Dudik等人[16]和Gelman and Hill[23]），在集群模型中属于同一个集群（参见Regelson和Fain[42]），在基于因素的模型中具有相似的因子得分（参见Agarwal和Chen[2]，Weinberger等人[55]，Richardson等人[43]），或者在基于规则的模型中使用相同的规则（参见Dembczynski等人[15]）。协方差模型可以通过使用聚合响应率估计值来训练，聚合响应率估计值可以作为实际响应率的代理，并观察早期估计值和聚合估计值之间的差异如何与“共享”学习的ads相关。5.模拟本节使用模拟来表明，使用投资组合分配来减少收入的估计方差可以导致实际预期收入的增加。模拟的重点是混合了CPC和CPA广告的展示广告市场。这些结果也应该适用于只有CPA广告的市场，这些市场对一个行为有各种定义，因此响应率也不同。这是CPA主导的广告市场的典型案例。在模拟中，ad应答率彼此独立。对于每个ad i，让Ribe表示Si的实际先验分布。让我们描述一下Si的估计先验分布。这种分布可以基于广告的历史响应率。使用贝叶斯统计，让我们对Si的估计后验分布进行预测。

该估计后验概率的统计数据可以根据估计的前验概率和ad i的过去表现来计算（关于估计后验概率的统计数据的计算方法，请参阅Berger[8]或另一篇关于贝叶斯统计的文章）每个模拟都遵循以下步骤：1。根据实际优先级Ri随机生成广告响应率。2.对于每个广告，随机生成一系列100000个“学习”广告呼叫，响应率为Si，并记录响应数量。3.对于每一个广告，根据广告的估计先验信息和对学习广告呼叫的响应数量，计算估计后验概率。（关于实现这一点的方法，请参阅贝叶斯统计教科书，如Berger[8]。）4.根据估计后验概率^Di的统计数据，使用QMAP在ads上分配ad呼叫。记录实际预期收入，PIKISIBIWHEREKI是分配给ad i的ad呼叫数。这是QMAP分配实现的预期收入。6.为了进行比较，确定一个“单一赢家”广告——一个基于估计后验概率的最大估计收入的广告。（收入估算值是估算后验平均值的两倍。）这是根据可用信息选择接收所有未分配投资组合的广告呼叫的广告。记录其实际预期收入。7.同样为了进行比较，记录理想的预期收入maxiSibim，其中Bi是对广告i的出价。如果对回复率有充分的了解，可以选择实际预期收入最大的广告，这就是预期收入。每个模拟计算QMAP分配，并以25为增量收集0到1500的所有q值的结果，然后是1750、2000、3000、4000、5000、7500、10000、15000和20000。每个图显示了超过10000次模拟的平均结果。每个模拟使用20个广告：10个CPC广告和10个CPAAD。

CPC ads的出价为1美元，实际优先级Ri=N（0.001，0.0001）——高斯平均值为0.001，标准差为0.0001。CPA广告的出价为10美元，实际价格为Ri=N（0.0001,0.00001），因此其收入与CPC广告收入的分配相同。我们使用响应率的三种可能的估计先验进行了模拟：o一致性–先验在[0,1]上是一致的。这模拟了根据每个广告自身的性能历史来估计每个广告的响应率，而不使用基于其他广告历史的先验知识。o近似-先验知识在[u]上是一致的-4σ，u+4σ]，其中u和σ是实际先验Ri的平均值和标准偏差。这是基于其他类似广告的历史记录，结合每个广告自身的表现历史，模拟使用aprior精确-前一个是用于生成响应率的实际分布，即CPC广告的N（0.001，0.0001）和CPA广告的N（0.0001，0.00001）。这模拟了对响应率分布的精确了解，这在实践中是不存在的理想情况。图1比较了投资组合分配和单一赢家分配的预计收入。随着q的增加，表明收益最大化优于方差最小化，投资组合分配的预计收益接近单一赢家的预期收益。估计的预期收入显示为预期收入的一小部分，即如果已知响应率，使用单一赢家将实现的预期收入。在先验不精确的情况下，估计的预期收入可能会超过实际的理想收入，因为人们倾向于选择回复率高估的广告。（有关这种“卖方诅咒”效应的更多信息，请参阅Bax等人[5]。）图2、图3和图4显示了实际而非估计的预期收益。

图2和图3说明，使用portfolioallocation来控制估计的差异可以使实际的预期收入高于选择一个使估计的预期收入最大化的广告。控制估计的差异可以抵消卖家选择单一赢家的诅咒，因为它高估了响应率，从而高估了预期收入。如图1所示，收入是理想预期收入的一部分。

当然，实际的预期收入并不能达到理想的预期收入，即使有确切的优先级。图1：预计收入。8 0.9 1 1.1 1.2 1.3 1.4 1.5 0 5000 10000 15000 200000收入（理想收入的分数）数量表-单个winneruniform-portfolioapproximate-单个winnerapproximate-portfolioexact-单个winnerexact-portfolioFigure 2：实际预期收入-统一优先级0。85 0.86 0.87 0.88 0.89 0.9 0.91 0.92 0.93 0.94 0 5000 10000 15000 200000收入（理想收入的一部分）QSSingle winner revenueportfolio revenue图3：实际预期收入–大致优先于0。86 0.87 0.88 0.89 0.9 0.91 0.92 0.93 0.94 0.95 0.96 0 5000 10000 15000 200000收入（理想收入的分数）qsingle winner revenueportfolio revenue图4：实际预期收入-准确的优先级0。86 0.87 0.88 0.89 0.9 0.91 0.92 0.93 0.94 0.95 0.96 0.97 0 5000 10000 15000 200000收入（理想收入的分数）qsingle winner revenueportfolio revenue这些结果建议了两个步骤来改进在线广告的交换：o使用贝叶斯方法来估计响应概率，使用最好的学习/估计方法使先验尽可能准确。（使用历史数据对广告进行分类，推断直方图或先验函数形式，并输入任何参数。）应用投资组合优化，尝试设置qto优化，以实现实际预期收入和实际收入差异（如果需要）的组合。（有关使用统计实验调整参数的方法，请参阅Box等人[10]或另一篇关于实验设计的文章。）6.讨论本文描述了一种在线广告中在买家之间分配库存的技术，它在最大化估计预期收入和最小化估计收入差异（风险）之间进行权衡。

估计方差既考虑了估计应答率的不确定性，也考虑了真实应答率的随机性。模拟结果表明，这种技术可以通过防止交易所基于高估其收益来选择单一赢家，从而提高实际预期收益。未来工作的一个方向是将投资组合分配技术扩展到与exploreexploit方法一致的操作。（有关探索利用方法的更多信息，也可参考多武装强盗技术，请参考Bianchi和Lugosi[12]、Auer等人[4]、Langford等人[36]、Gittins[24,25]以及Gittins和Jones[26]。）本文中的技术可以起到开发方法的作用，通过将广告调用分配给多个广告来实现一些探索的附带好处。扩展投资组合分配方法以包括系统探索的一种潜在方法是，在广告收入预期和差异中添加条款，以说明未来收入的分配，这是由于了解了更多关于回复率的信息。有关学习价值的更多信息，请参考Vermorel和Mohri[52]以及Li等人[38]。探索是对广告电话进行投资，以了解广告的回复率是否值得通过将其纳入未来的投资组合配置来加以利用。从某种意义上说，确定广告收入统计数据的探索就是投资于在确定广告对投资组合有贡献的情况下开发广告的选择。在未来的研究中，探索这与在金融市场投资看涨期权有何相似之处将是一件有趣的事情。（有关选项的更多信息，请参阅Hull[30]。）在这两种情况下，预先投资都可以确保在获得更多信息后决定是否进行另一项投资的权利。在金融市场中，信息会随着时间的推移而披露。在网络广告中，投资者购买信息。

在这两种情况下，下行风险仅限于初始投资金额。在金融市场中，当期权缺钱时就会发生这种情况。未来工作的另一个方向是将金融市场投资组合分析中应对不确定性的方法扩展到在线广告市场的投资组合分析。（关于一些方法，请参考Jorion[33]、Jobson等人[32]和Vasicek[51]）将James Steincorrections或类似的收缩方法应用于广告收入分配的均值、方差和协方差的估计应该是有用的（有关收缩方法的更多信息，请参阅Bock[9]、Brown[11]、Stein[47]和James and Stein[31]）稳健优化领域主要关注不确定性下的优化。一些稳健的优化方法具有严格的不确定性（见Sniedovich[46]），其中可能结果的概率完全未知。另一些则解决不太确定的问题，即可能结果的分布未知，但仅限于某些分布集（见Ben Tal和Nemirovski[7]、Ben Haim[6]和Chen等人[13]）。在本文中，我们首先研究了从分布到分布（对应toR）的分布中得出结果（对应toS）分布对风险的影响（如French[21]所定义）。然后，我们使用模拟来探索关于分布的不完全信息对分布的影响。这引入了一种超越风险的不确定性，但没有严格的不确定性那么严重。在未来，将稳健优化的方法应用于参数（如可用的广告呼叫数）以及支付不确定性的广告分配问题将是有趣的。有关投资组合问题稳健优化的更多信息，请参阅Fabozzi等人。

[18] 和Goldfarband Iyengar[27]。最后，分析投资组合分配下的投标行为问题将是一件有趣的事情。例如，一些广告商是否可以通过将价格类型从CPC转换为CPA，或者反过来调整组合分配下其广告收入的差异而受益？在混合分配下，有多个赢家，那么第二个价格是多少？后一个问题的一个答案是VCG（VickreyClarke Groves[29,14,54,53]）投资组合分配定价，如Li等人在[37]中所述。但可能还有其他方法可以保持真实投标的动机，并增加收入。附录A。分配报酬的方差定理1。V arS，Xr（k，S，X）（26）=nXi=1nXj=1kikjCovSi，SjEXiXi（Si）、EXjXj（Sj）（27）+nXi=1kiESiV arXiXi（Si）。（28）证据。对方差使用众所周知的等式[19]：V arX=EX- （EX）：V arS，Xr（k，S，X）=ES，Xr（k，S，X）- [ES，Xr（k，S，X）]。（29）对于第一个学期，分别对S和X的期望值，并应用等式EX=V arX+（EX）：=ESV arXr（k，S，X）（30）+ES[EXr（k，S，X）]（31）- [ES，Xr（k，S，X）]。（32）现在将三个术语一次扩展一个。首先，使用r（k，S，X）：ES的定义V arXr（k，S，X）（33）=ESV arXnXi=1k++kiXh=k++基-1Xhi（Si）. （34）由于支付是关于X的i.i.d.，ESV arXr（k，S，X）（35）=ESnXi=1kiV arXiXi（Si）（36）=nXi=1kisi[V arxixixi（Si）]。（37）这是定理陈述中方程RHS的最后一项。接下来，展开方程（32）的第二项。使用r（k，S，X）的定义。ES[EXr（k，S，X）]（38）=ESEXnXi=1k++kiXh=k++基-1Xhi（Si）(39)EXnXj=1k++kjXg=k++千焦-1Xgj（Sj）. （40）由于支付是关于X的i.i.d.，=ES“nXi=1kiEXiXi（Si）#”nXj=1kjEXjXj（Sj）#。（41）分配Es并逐项乘以总和=nXi=1nXj=1kikjESEXiXi（Si）·EXjXj（Sj）. （42）现在展开等式（32）的第三项。

代入式（6）中r（k，S，X）的期望值。- [ES，Xr（k，S，X）]=-“nXi=1kiESi，XiXi（Si）#（43）扩展正方形。”-nXi=1nXj=1kikjESi，XiXi（Si）ESj，XjXj（Sj）。（44）将等式应用于协方差[19]：Cov（X，Y）=EXY-（EX）（EY）。=-nXi=1nXj=1kikj-ESi，SjEXiXi（Si）·EXjXj（Sj）（45）+CovSi，SjEXiXi（Si）、EXjXj（Sj）（46）执行符号并分离期望项和协方差项-nXi=1nXj=1kikjESi，SjEXiXi（Si）·EXjXj（Sj）（47）+nXi=1nXj=1kikjCovSi，SjEXiXi（Si）、EXjXj（Sj）. （48）第一项抵消了等式（42）。第二项完成了定理陈述的RHS。B.参考文献[1]D.阿加瓦尔、A.Z.布罗德、D.查克拉巴蒂和D。Diklic。估计多个解决方案下罕见事件的发生率。《知识发现与数据挖掘》，2007年第16-25页。[2] D.阿加瓦尔和B-C.陈。基于回归的后发因素模型。《知识发现与数据挖掘》，2009年第19-28页。[3] D.Agarwal、B-C.Chen和P.Elango。用于估算点击率的时空模型。在万维网，第21-30页，2009年。[4] P.奥尔、N.塞萨·比安奇和P.菲舍尔。多臂土匪问题的有限时间分析。《机器学习》，47（2-3）：235–256，2002年。[5] E.Bax、A.Kurati、P.McAfee和J.Romero。比较在线广告拍卖中的预测价格。国际工业组织杂志，30:80-882012。[6] 本·哈伊姆。信息缺口不确定的风险价值。《风险金融杂志》，6（5）：388–403，2005年。[7] A.本·塔尔和A.内米罗夫斯基。鲁棒凸优化。运筹学数学，23（4）：769-8051998。[8] J·O·伯杰。统计决策理论和贝叶斯分析。斯普林格，1985年。[9] 博克。多变量分布均值的极小极大估计。《统计年鉴》，3（1）：209-2181975年。[10] G.E.P.Box、J.S.亨特和W.G.亨特。实验者的统计数据。约翰·威利父子，2005年。[11] L。

D.布朗。关于一个或多个位置参数的不变量估计的不可容许性。《数理统计年鉴》，37（5）：1087-11361966。[12] N.塞萨·比安奇和G.卢戈西。预测、学习和游戏。剑桥大学出版社，2006年。[13] 陈X、辛M和孙P。随机规划的稳健优化视角。运营研究，55（6）：1058-10712007。[14] E·H·克拉克。公共物品的多方定价。《公共选择》，第11（1）：17-331971年。[15] K.邓布茨基、W.科特·洛斯基和D.韦斯。利用决策规则预测广告点击率。网络广告定位与排名研讨会，2008年。[16] M·杜迪克、D·M·布莱和R·E·夏皮雷。分层最大熵密度估计。国际机器学习会议，第249-256页，2007年。[17] B.埃德尔曼、M.奥斯特罗夫斯基和M.施瓦兹。互联网广告和广义二价拍卖：卖出价值数十亿美元的关键词。《美国经济评论》，97（1）：242-2592007。[18] F.J.法博齐，P.N.科尔姆，D.A.帕查马诺瓦，美国国家统计局。福卡迪先生。投资组合优化和管理。威利金融，2007年。[19] W.费勒。概率论及其应用简介。约翰·威利父子，1968年。[20] J.富兰克林。数学经济学方法。斯普林格·维拉格，1980年。[21]S.D.法语。决策理论。埃利斯·霍伍德，1988年。[22]G.M.富尔戈尼和M.P.莫恩。网络广告如何运作：点击到哪里？为2008年广告会议上的经验泛化做准备。[23]A.盖尔曼和J.希尔。使用回归/多层次模型进行数据分析。剑桥大学出版社，2007年。[24]J.C.吉廷斯。Bandit进程和动态分配骰子。《皇家统计学会杂志》，Serieb（方法学），41（2）：148–177，1979年。[25]J.C.吉廷斯。多武装匪徒分配指数。约翰·威利父子，1989年。[26]J.C。