最优实时报价策略

因为当t→ T，我们更喜欢以b的10为底的对数*（t，S）。图2中绘制的最优出价与直觉一致：剩余预算越高，离终点时间越近，最优出价越高。另一种方法是使用[18,19,20]中提出的多武装强盗算法。帕累托分布或极值分布也是相关的选择。为了数值逼近HJB方程（2.3）的解v，我们考虑了（t，S）网格上的一种向后时间显式格式。极小值b*通过使用一阶条件（2.5）（以及连续点之间的精确近似值）在网格的每个点处找到。然后，通过在网格的连续点和f.s（剩余现金）0.00.20.40.60.81.0t（时间）020406080100Log（投标）的指数形式之间使用v的有效近似值，用封闭式公式近似积分-4.-3.-2.-1012图2：日志（b）*（t，S）b的单位*是千分之一欧元）。λ=500秒-1，T=100沙S=e1.2.4.2模拟流体极限近似的一个结果是平均支出率应该是恒定的。一个重要的问题是，当使用通过求解HJB方程（2.3）获得的最优投标策略时，这一特征是否也成立。为了回答这个问题，我们通过绘制拍卖请求发生的时间和每次拍卖的价格（使用与上述相同的参数集）进行了模拟。图3、图4和图5显示了不同时间窗口的结果（我们从100秒放大到10秒，再放大到1秒）：剩余的现金流程绘制在左侧面板中，压缩的数量绘制在右侧面板中。

对于我们考虑的参数的（现实）值，很明显，预算是线性花费的。我们还对较小的λ值（λ=2 s）进行了模拟-1） -也就是说，在流动性较低的市场中，拍卖请求的数量较少-以测试通过流动极限近似获得的定性结果的稳健性。在图6中，我们绘制了HJB方程（2.3）的解v和相关的最优报价（对数）。在图7中，我们绘制了与新参数值对应的模拟结果。如上所述，我们看到支出率会发生变化，但与交易期间的平均支出相对应，仍然保持在一个常数左右。0 20 40 60 80 100次。00.20.40.60.81.0剩余现金0 20 40 60 80 100时间020000400060008000001200014000库存图3：在100秒的时间窗口内，以数字方式计算的最优投标策略的剩余现金流程（左）和库存流程（右）。60 62 64 66 68 70次。320.340.360.380.400.42剩余现金60 62 64 66 68 70时间8000820084008600880090009200库存图4：以数字计算的最佳投标策略的剩余现金流程（左）和库存流程（右）——放大10秒。62.0 62.2 62.4 62.6 62.8 63.0倍。3940.3960.3980.4000.4020.404剩余现金62。0 62.2 62.4 62.6 62.8 63.0时间81808200822082408226082808300库存图5：以数字计算的最优投标策略的剩余现金流程（左）和库存流程（右）——放大1秒。s（剩余现金）0.00.20.40.60.81.0t（时间）020040006008001000V（t，s）050100015002000S（剩余现金）0.00.20.40.60.81.0t（时间）020040006008001000log（投标）-4.-3.-2.-1012图6:HJB方程（2.3）（左面板）和最优投标日志（b）的解*（t，S））（右面板）。

λ=2秒-1，T=1000 s和‘s=e1.0 200 400 600 800 1000time0。00.20.40.60.81.0剩余现金0 200 400 600 800 10000Time050100015002000库存图7：以数值计算的最优投标策略的剩余现金过程（左）和库存过程（右）。λ=2秒-1，T=1000 s和¨s=e1.3扩展和关于模型的讨论在本节中，我们介绍了第2节中介绍的模型的两个重要扩展。第一种是多源扩展：我们考虑拍卖请求来自多个广告交换（或来自同一个广告交换，但来自不同类型的受众），具有不同的频率和不同的价格规律的情况。第二个扩展与转换有关：除了购买的印象数量，adtrading交易台通常将转换数量视为KPI，这更符合发起广告活动的品牌或公司的投资回报目标。对于这两种扩展，我们表明问题仍然存在于维度2（变量改变后），即使状态空间的维度随着源的数量成比例增加，并且在考虑转换时几乎翻了一番。除了这两个扩展之外，我们还讨论了该模型的许多特性。特别是，文中讨论了Vickrey拍卖和一价拍卖之间的差异，以及几种类型的底价的存在。最后讨论了关键绩效指标，因为在第2节的模型和下面介绍的两个扩展中，维度降低与目标函数的线性度（直到惩罚项）有关。3.1引入拍卖中的异质性要求我们考虑的第一个扩展侧重于可以从不同来源购买库存的情况，即：。

不同的广告交流，或者只是不同类型的受众。这种异质性来自于拍卖请求到达的频率、与每个来源相关的待拍价格的分布，或目标函数中每种存货类型的相对重要性的差异。一个重要的情况是，在不同的广告交易中，库存是同质的，而差异仅在于拍卖的统计特性。在这种情况下，我们表明——在流体限制的情况下——各场馆的最优出价是相同的，这与[9]中得到的结果一致。然而，当受众是异质的时，我们表明，作为目标函数中对不同类型受众的相对重要性的函数，最优出价从一个来源到下一个来源是不同的。3.1.1模型的设置在下文中，我们仍然考虑希望在一个时间窗口[0，T]内花费给定金额的广告交易员。拍卖：这个广告交易者连接到J>1来源，他从中收到参与拍卖的请求，以便购买库存——我们假设交易者知道每个拍卖请求来自哪个来源。请求用带有J标记的泊松过程建模：来自源J的请求的到达∈ {1，…，J}由强度λJ>0的过程（Njt）上的泊松跃变和标记（pjn）n触发∈N*对于来源j发送的每个拍卖请求，将其对应于其他参与者发送的最高出价。每次他从来源j收到参加拍卖的请求时，广告商人都可以出价：在时间t，如果他收到来源j的请求，那么我们将他的出价表示为bjt。在只有一个来源的模型中，我们假设广告交易者准备好出价（可能是等于0或0的出价）+∞) 任何时候。

特别是，我们假设在这个扩展和下一个扩展中，上标j∈ {1，…，J}指定源，而不是指数。J∈ {1，…，J}，过程（bjt）是一个具有R值的可预测过程+∪ {+∞}.如果在时间t发生与源j相关的第n次拍卖，则该拍卖的结果如下：o如果bjt>pjn，则广告交易商赢得拍卖：他支付价格pjn，并展示其横幅。o如果bjt≤ pjn，然后另一个交易者赢得了拍卖。就像在只有一个源的模型中一样，我们假设∈ {1，…，J}，（pjn）n∈N*i.i.d.随机变量是按照绝对连续分布分布的。我们用fj表示累积分布函数，用fj表示与源j相关的概率密度函数。如上所述，我们假设每个j∈ {1，…，J}，即：N∈ N*, 这几乎肯定是积极的。尤其是Fj（0）=0.op>0，fj（p）>0.o无力的→+∞pfj（p）=0。我们还假设随机变量（pjn）j∈{1，…，J}，n∈N* 他们都是独立的。剩余现金流程：如上所述，我们用（St）t表示将要花费的现金量建模的流程。其动态为：dSt=-JXj=1pjNjt{bjt>pjNjt}dNjt，S=`S。库存流程：针对每个j∈ {1，…，J}，与源J的拍卖请求相关联的印象数量由库存过程（Ijt）t建模∈ {1，…，J}，（Ijt）tis的动力学：dIjt=1{bjt>pjNjt}dNjt，Ij=0。为了简化说明，我们编写它=（It，…，IJt）∈ 我们写下过程的动力学（It）t:dIt=JXj=1{bjt>pjNjt}dNjtej，其中（e，…，eJ）是RJ的规范基础。随机最优控制问题：在模型的第一个扩展中，交易者的目标是最大化αIT+…+形式的指标的期望值αJIJT，α。

，αJ≥ 0.如第2节所述，我们考虑了一个对额外支出进行惩罚的宽松问题：inf（bt，…，bJt）t∈阿杰-JXj=1αjIjT+K min（ST，0）.3.1.2 HJB方程：从尺寸J+2到尺寸2，与该问题相关的值函数为：u:（t，I，S）∈ [0，T]×NJ×(-∞,\'S]7→ inf（bs，…，bJs）s≥T∈阿杰特-JXj=1αjIjTb，t，Ij+K minSb，t，ST，0,其中dsb，t，Ss=-JXj=1pjNjs{bjs>pjNjs}dNjs，Sb，t，St=S，dIjsb，t，Ij=1{bjs>pjNjs}dNjs，Ijtb，t，Ij=Ij，J∈ {1，…，J}。相关的汉密尔顿-雅可比-贝尔曼方程为：- 图（t，I，S）-JXj=1λjinfbj∈R+Zbjfj（p）（u（t，I+ej，S）- p）- u（t，I，S））dp=0，（3.1）终端条件u（t，I，…，IJ，S）=-PJj=1αjIj+K min（S，0）。式（3.1）是一个非标准的J+2维积分微分H-JB方程，它推广了式（2.2）。在只有一个来源的情况下，我们可以考虑ansatz theformu（t，I，…，IJ，S）=-JXj=1αjIj+v（t，S）。有了这个安萨兹，等式（3.1）实际上变成：- 电视（t，S）-JXj=1λjinfbj∈R+Zbjfj（p）（v（t，S）- p）- v（t，S）- αj）dp=0，（3.2），终端条件v（T，S）=K min（S，0）。公式（3.2）是另一个HJB方程，但在维度2中，它推广了公式（2.3）。3.1.3流体极限近似在只有一个源的模型中，可以用数值方法近似求解toEq。（3.2）并随后确定最佳投标策略。然而，有趣的是，考虑替换项v（t，S）所产生的近似值- p）- v（t，S）inEq。（3.2）通过其一阶泰勒展开式-PSv（t，S）。因此，我们将等式（3.2）替换为：- 电视（t，S）-JXj=1λjinfbj∈R+-Zbjfj（p）（αj+p）Sv（t，S））dp=0，（3.3），终端条件v（t，S）=K min（S，0）。情商。

（3.3）与上述随机最优控制问题的流体极限有关，其定义为：inf（~bt，~bJt）t∈阿杰德特-JXj=1λjαjZTFj（~bjt）dt+K min~S~bT，0,式中yenSyenbt=-JXj=1λjGj（~bjt）dt，Gj:x∈ R+∪ {+∞} 7.→Zxpfj（p）dp。与此问题相关的值函数v是：v（t，S）=inf（bs，bJs）S≥T∈阿德特-JXj=1λjαjZTtFj（~bjs）ds+K min~S~b，t，ST，0,式中dSb，t，Ss=-JXj=1λjGj（~bjs）ds，~Sb，t，St=S。使用与定理2.1相同的技术，我们可以证明以下定理：定理3.1。让我们来定义J∈ {1，…，J}，Hj（x）=λjsupbj∈R+Zbjfj（p）αj+xpdp，and H=H+…+HJ。值函数v由以下公式给出：~v（t，S）=supx≤0Sx- （T）- t） H（x）-x4K.这是Hamilton-Jacobi方程（3.3）的唯一弱半凹解。此外，最优控制函数（t，S）7→~b*（t，S）由以下公式给出：o如果S≥PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1，…，J}，~bj*（t，S）=+∞.o 如果S<PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1，…，J}，~bj*（t，S）=-αjx*,x在哪里*其特征是s=（T- t） H′（x）*) +十、*2K。（3.4）证据。通过使用变量的变化ajs=λjGj（~bjs）∈ Ij=[0，λjR∞pfj（p）dp]，我们有：~v（t，S）=inf（as，…，aJs）S≥T∈A\'det，我，。。。，IJZTtJXj=1Ljajsds+K分钟bSa，t，ST，0, （3.5）其中A′det，I，。。。，ij是一组F-可测过程，其值在I×。×IJ，其中dbsa，t，Ss=-as+…+aJsds，bSa，t，St=S，其中，f或所有j∈ {1，…，J}，函数lji定义为：Lj:aj∈ Ij7→ -λjαjFjGj-1.ajλj.一种写Eq的等效方法。

（3.5）is:＠v（t，S）=inf（as）S≥T∈A′detZTtL（as）ds+kminˇSa，t，ST，0, （3.6）其中A′det是一组F-可测过程，其值为I=[0，PJj=1λjR∞pfj（p）dp]，其中Sa，t，Ss=-asds，ˇSa，t，St=S，其中l:a∈ I 7→ inf（a，…，aJ）∈我×。。。×IJ，a++aJ=aJXj=1Ljaj.在定理2.1的证明中，LJI是一个凸函数，在Ij的内部连续可微。现在让我们计算Lj:Lj的勒让德-芬切尔变换*（x） =supaj∈Ijxaj- Lj（aj）=supbj∈R+λjxGj（bj）+λjαjFj（bj）=λjsupbj∈R+Zbj（αj+xp）fj（p）dp（3.7）=Hj（x）。在定理2.1的证明中，我们可以很容易地在等式（3.7）中找到上确界：o如果x<0，那么bj*= -αjx，和hj（x）=λjZ-αjx（αj+xp）fj（p）dp=-λjxZ-αjxFj（p）dp.o如果x是非负的，那么bj*= +∞, andHj（x）=λjαj+xZ∞pfj（p）dp.尤其是，HJ是一个C函数。通过使用非理想卷积，函数L是凸的，其勒让德变换isH=H+…+HJ。从式（3.6）中，由Hopf-Lax公式得出＠v（t，S）=infy∈[S]-PJj=1λjR∞pfj（p）dp（T）-t） ，S]（T）- t） Ls- yT- T+ K min（y，0）.等价地，通过非理想卷积，我们得到：~v（t，S）=supxSx- （T）- t） H（x）- supyyx- K min（y，0）= 好的≤0Sx- （T）- t） H（x）-x4K. （3.8）这是该定理的第一个结果。此外，我们现在知道v是f Ollowinghilton-Jacobi方程的唯一弱半凹解：-t~v（t，S）+H(当终端条件为最小值K时，Sv（t，S））=0。这个等式与等式（3.3）完全相同，因此是定理的第二个断言。此外，修正问题（3.6）中的最优控制由以下公式给出：*（t，S）=H′(v（t，S））。因此，根据关于非理想卷积的经典结果，修正问题（3.5）中的最优控制如下所示：J∈ {1, . . .

，J}，aj*（t，S）=Hj′(v（t，S））。我们得出结论，初始问题的最优控制函数为：~bj*（t，S）=(-αjSv（t，S），v（t，S）<0+∞, S~v（t，S）≥ 0.如果是≥ （T）- t） H′（0）=PJj=1λj（t- t） R∞pfj（p）dp，则等式（3.8）中的上确界在x处*= 0.因此，v（t，S）=0和J∈ {1，…，J}，~bj*（t，S）=+∞.否则，等式（3.8）中的最大值在x处达到*≤ 0的唯一特征为：S=（T- t） H′（x）*) +十、*2K。特别地，v（t，S）=x*和J∈ {1，…，J}，~bj*（t，S）=-αjx*x在哪里*由式（3.4）表征。按照与第2节相同的推理，我们近似得出最优报价b1*T北京*通过使用流体极限近似和极限情况下的最优出价，计算时间t→ + ∞ . 换句话说，我们近似于最优出价b1*T北京*t时间t乘以b1*∞（t，圣-), . . . ,~bJ*∞（t，圣-), 其中函数（~bj）*∞)jare定义人：o如果≥PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1，…，J}，~bj*∞（t，S）=+∞.o 如果S<PJj=1λj（T- t） R∞pfj（p）dp，然后：J∈ {1，…，J}，~bj*∞（t，S）=-αjH′-1.装货单-T. （3.9）最优投标策略的这种近似值得注意。首先，案例分析-≥PJj=1λj（T- t） R∞pfj（p）dp与单源情况相同。pjj=1λj（T- t） R∞pfj（p）dp表示如果广告交易者赢得所有参与的拍卖，则在时间t和时间t之间将花费的预期金额。因此，很自然地，如果花费的金额足够大的话，就会发出很高的出价，以确保赢得所有的作品-大于该值。第二，如果圣-<PJj=1λj（T- t） R∞pfj（p）dp，然后我们从等式（3.9）中看到，根据权重（αj）j，投标从一个来源到另一个来源：j、 j′∈ {1，…，J}，~bj*∞（t，S）αj=~bj′*∞（t，S）αj′。特别是，如果一个人只对印象的总数感兴趣，即。

如果α=…=αJ.在St的情况下-<PJj=1λj（T- t） R∞pfj（p）dp，有趣的是注意到等式（3.9）暗示T∈ [0，T]，JXj=1λj（T- t） Z~bj*∞（t，圣-)pfj（p）dp=St-.如果我们使用上述最优投标策略的近似值，剩余现金的动态为（0≤ T≤ s≤ T）：dSs=-JXj=1pjNjs{bj*∞（s，Ss）-)>pjNjs}dNjs，St=S。因此：dE[Ss]=-EJXj=1λjZbj*∞（s，Ss）-)pfj（p）dpds= -E[Ss]T- sds。这就给出了E[Ss]=ST-sT公司-t、 与单一来源的情况一样，最优竞价策略的近似值是这样的，即平均而言，剩余的现金在[t，t]上均匀地花费。3.2转化率呢？到目前为止，我们只考虑了广告交易员最大化的KPI与他购买的印象数量相关的问题。实践者对印象数量（与CPM相关）以外的其他KPI感兴趣。特别是，点击次数，或产品收购次数（点击横幅后）是活动成功的非常重要的指标——实践中使用的关键绩效指标是CPC和CPA。在下面的内容中，我们考虑一个模型，其中优化了两个变量：印象的数量和转换的数量（可以视为点击或获取，取决于所考虑的应用程序）。事实上，我们通过考虑更一般的标记泊松过程来推广之前的模型，其中标记不仅限于要拍的价格，而且还通过伯努利分布（伯努利分布的参数称为转换率，即。