响应面排序的序贯设计

术语uu（x；t）是Q值，提供了应用行动u时的预期成本∈ L在Xt=x时。求解DPE相当于计算Q值，因为由（1.6），V（t，x）=min`∈L{u`（x；t）}。（1.1）中的排名问题被称为策略图x7→ U*（t，x）将状态空间x划分为L个动作集Ci（t）。给你*（s，·）对于所有s=t+1，T和所有x∈ X（通过v（T，X）=g（T，X）），我们观察到uu（X；T）=g（T，X，u）+Et“TXn=T+1g（n，Xeun，eun）#（X），（1.8），其中（eut）是在T和u处使用动作u的策略*（s，Xs）之后，s>t。实际上，（1.8）中的和正是路径成本的随机变量。因此，损失（1.3）是指作为u*（t，Xt）在t，相对于采取行动（然后在未来的剩余时间，{t+1，…，t}），由Xt的分布F（dx）加权。公式（1.8）允许通过将（1.7）中的准确性与（估计）Q值uu（·t）的即时精确性，而是与政策地图6 Ruimeng Hu和Michael Ludkovskiu的质量联系起来，来寻求政策搜索方法*（t，x）。也就是说，我们迭代地计算s=T的近似策略映射^u（s，·）-1，T-2.利用（1.8）构造基于{u（s，·）：s>t}的^u（t，·）。请注意，发现V（0，x）的最初目标要求解决形式（1.1）的T排序问题。当动作空间L为verysmall时，这种动态规划方法尤其有吸引力。一个典型的例子是最优停止问题，其中L={stop，continue}，即L=2。对于单个停止决策，通常会给出即时奖励u（x；t），从而导致估计单个Q值u（x；t），请参见[22]。

在摇摆期权的定价[38]、实物期权的估值[1]和进出口交易策略的优化[48]中出现了同时需要估计μ和μ的多个停止问题。在评估能源资产，尤其是天然气储存[31]时，考虑了L>2的情况，这会导致最优切换问题。例如，存储决策通常根据{inject，do]的三个可选L=3进行建模- 没什么，撤退。小的行动空间也出现在许多工程环境中，例如目标跟踪[2,27]和传感器管理[16]。统计模型。2.1. 顺序设计。{a}和{1}对应的配置。大小为K的设计是一个集合Z（K）：=（x，`）1:K，x∈ 十、 `∈ 五十、 上标表示向量。固定Z（K），并对相应的样本Y1:K进行调节≡ （Y`k（xk））Kk=1，设^C（k）≡^C（Y1:K，Z（K））是C的估计值。我们的目标是在所有大小为K的设计中最小化预期损失L（^C（·，Z（K）），C），即infZ:|Z |=KEhL（^C（Y1:K，Z），C）i，（2.1），其中期望值超过采样响应Y1:K。为了解决（2.1）我们使用顺序算法，在收集Y样本时迭代增加设计Z。临时设计SZ（k）根据其尺寸k进行相应索引，其中k=k，k+1，K.在每个步骤中，添加一个新位置（xk+1，`K+1），并根据新获得的信息重新计算估计值^C（K+1）。整个过程由以下伪代码总结：1。初始化Z（K）和^C（K）2。循环k=k。（a） 选择一个新的位置（xk+1，`k+1），并对相应的yk+1进行采样：=Y`k+1（xk+1）（b）增加设计Z（k+1）=Z（k）∪ {（xk+1，`k+1）}（c）通过同化新观测3更新分类^c（k+1）=^c（Y1：（k+1），Z（k+1））。结束循环基本贪婪采样算法添加位置，目的是最小化近视预期估计误差。

更准确地说，在步骤k，给定设计Z（k）（以及相应的Y1:k），下一对xk+1，`k+1由arg inf（xk+1，`k+1）选择∈X×LEhL（^C（Y1:（k+1），Z（k+1）），C）i，（2.2），其中期望值超过下一个样本Y`k+1（xk+1）。与K维优化相比，这导致了一个更简单的一步优化（通常我们关注的是K维优化） 100）公式化（2.1）。不幸的是，（2.2）中的优化通常仍然难以解决，因为它需要在每一步重新计算全损失函数L（·，C）；对响应面进行排序的顺序设计7o根据Y`k+1（xk+1）确定^C的预期变化积分Y`k+1（xk+1）的（通常未知）分布在完整的d+1维设计空间X×L上进行优化。因此，我们提出了（2.2）的有效数值近似，依赖于（i）序列统计建模（即随着Z的增长计算和更新^C）和（ii）随机优化（即确定有希望的新设计点（X，`））。2.2。响应面建模。顺序设计的一个关键方面是自适应评估近似质量，以最大限度地从新样本中获取信息。因此，测量预测不确定度是选择的核心（xk+1，`k+1）。为此，我们使用阿巴斯范式，将u`视为随机对象。因此，我们使用函数空间M，并假设`∈ M具有一些先验分布F。因此，对于每个x，u`（x）是一个随机变量，其后验分布基于从样本（x，`，y`（x））收集的信息进行更新。给定第k步设计Z（k）产生的信息，Fk=σY`（x）：（x，`）∈ Z（k）, 我们定义了后M（k）`（x）~ u`（x）|Fk。

随机变量M（k）`（x）是关于以Fk为条件的u`（x）的信念；它的前两个矩分别称为克里格均值和方差，bu（k）`（x）：=E[u`（x）|Fk]，（2.3）δ（k）`（x）：=E[（u`（x）- bu（k）`（x））|Fk]。（2.4）我们将使用bu（x）作为u`（x）的点估计，δ`（x）作为各自不确定度的基本度量。全球总地图x7→ M（k）`（x）被称为“厚度表面”。请注意，虽然X上存在空间相关结构，但我们假设观测值在L（SOL）样本噪声中是独立的`⊥⊥ u`），因此后验数M（k）`（x），`=1，2。他们是独立的。顺序统计bu（1）（x）≤ bu（2）（x）≤ . . . 描述固定x下的排序后均值。自然定义是宣布最小估计曲面（2.5）^C（x）：=arg min`{bu`（x）}，即估计的分类^C对应于最小后均值，因此buC（x）（x）=bu（1）（x）。另一方面，关于C（x）的不确定性可以通过后验概率M，M，…，的期望最小值来概括，ML，m（k）（x）：=E[m（k）（1）]=E[min（u（x），…，uL（x））|Fk]。（2.6）观察E[min`u`（x）|Fk]=m（k）（x）≤ bu（k）（1）=min`E[u`（x）| Fk]，我们相应地定义了间隙（“M”表示最小值）M（x）：=bu（1）（x）- m（x）≥ 0.（2.7）M-gap测量最小预期响应和最小预期响应之间的差异，这与x in（1.3）的贝叶斯预期损失精确对应。这一事实提供了（1.3）中原始损失函数L（^C，C）的经验模拟EL（^C）：=ZXM（x）F（dx）。（2.8）上述公式将克里格曲面的局部精度转化为产生的Classifier^C的全局精度度量，并将成为我们算法的主要性能度量。8胡瑞梦和迈克尔·卢德科夫斯基2。3.克里格法。假设响应面在X轴上是光滑的。

因此，关于u`（x）的信息也揭示了关于u`（x）的x 6=x，在不同地点的耦合观测。为了在没有参数表示的情况下实现这些条件，我们将每个u′视为来自阿加西过程（GP）的样本。GP由其趋势函数或平均函数t`（x）=E[u`（x）]和方差结构K`:x确定→ R、 K`（x，x）=E[（u`（x）-t`（x））（u`（x）-t`（x））]。通过指定相关行为，核K对响应曲面的平滑度进行编码。固定响应面指数`并让~y=（y（x），y（xn））t在位置~x=x1:n处对观察到的样本进行模拟。这些实现如（1.2）所示，响应表示为u`（x）=t`（x）+Z`（x），其中t`（·）是固定趋势项，Z`（·）是高斯过程的实现。给定样品（x，y）1:n，u′的后部再次形成GP；换句话说，任何集合M（n）`（x），M（n）`（xk）是多元高斯分布，具有均值bu（n）`（xi）、协方差v（n）`（xi，xj）和方差δ（n）`（xi），具体由[47，第2.7节]规定（另见[3]）：bu（n）`（xi）=t`（xi）+~k（n）`（xi t（k`+∑（n）`）-1（~y）-~t（n）`（2.9）v（n）`（xi，xj）=K`（xi，xj）-~k（n）`（xi）T（k`+∑（n）`）-1~k（n）`（xj）（2.10）与δ（n）`（xi）=v（n）`（xi，xi）~t（n）`=（t`（x），t`（xn））t和~k（n）`（xi）=（k`（x，xi），K`（xn，xi））T，∑（n）`:=diag（σ`（x），σ`（xn）），K`是n×n正有限矩阵（K`）i，j:=K`（xi，xj），1≤ i、 j≤ n、 通过`，后验向量M（x）在固定的x满足度M（x）下的独立性~ N（bu（x），（x） 当bu（x）=[bu（x），…，buL（x）]T，（x） =诊断δ（x），δL（x）.一个常见的选择是matren-5/2内核（x，x；s，θ）=s1 + (√5+5/3）kx- xkθ· E-√5kx-xkθ，kxkθ=qx diag~θxT。（2.11）长度比例参数向量~θ控制MK成员的平滑度，MK越小。

方差标量参数决定响应中的波动幅度。序贯设计中克里格法的一个主要优点是更新公式，使新的数据点能够有效地模拟现有的数据点。也就是说，如果一个新样本（x，y）k+1被添加到一个现有的设计x1:k中，那么位置x处的均值和克里格方差将通过bu（k+1）（x）=bu（k）（x）+λ（x，xk+1；x1:k）（yk+1）更新- bu（k）（xk+1））；（2.12）δ（k+1）（x）=δ（k）（x）- λ（x，xk+1；x1:k）[σ（x（k+1））- bu（k）（xk+1）]，（2.13），其中λ（x，xk+1；x1:k）是一个权函数，用于指定新样品在xk+1onx处的影响（以现有设计位置x1:k为条件）。特别是，xk+1处后验标准偏差的局部减少与电流δ（k）（xk+1）[11]：δ（k+1）（xk+1）δ（k）（xk+1）=σ（xk+1）pσ（xk+1）+δ（k）（xk+1）成正比。（2.14）响应面排序的顺序设计9注意，更新后的后验方差δ（k+1）（x）是xk+1的确定函数，与yk+1无关。在下面的例子中，我们使用了DiceKriging R包[45]来计算（2.9）。该软件将位置索引对（x，`）1:n、相应样本y`（x）1:n、噪声级σ`n（xn）以及核族（默认情况下为Matern-5/2（2.11））和趋势基函数ti`（x）作为输入，并运行EM MLE算法来估计描述克里格核K`.2.4的超参数s，θ。排名统计摘要。给定一个固定的克里格曲面M`（·）（为了便于说明，在本节中，我们省略了设计尺寸k的索引），相应的分类^C如（2.5）所示。注意，^C（x）不一定是MAP（最大后验概率）估计器，因为后验概率和后验均值的顺序不需要匹配L>2。对于研究^C的准确性，还有两个量很重要：间隙和后验概率。

首先，差距量化了后均值之间的差异，即b`（x） ：=|bu`（x）- minj6=`buj（x）|，（2.15）b（x） ：=|bu（1）（x）- bu（2）（x）|，（2.16），其中bu（1）≤ bu（2）≤ . . . ≤ bu（L）是有序后验均值。B=2，我们注意到(·) ≡B（·）=b（·）由于对称。其次，确定最小rankp`（x）：=P的后验概率u`（x）=u（1）（x）|Fk= P（M`（x）=minjMj（x））。（2.17）我们指的是p（1）（x）≥ p（2）（x）≥ . . . ≥ p（L）（x）作为向量~p（x）的降序值：={p`（x）}L`=1，因此p（1）（x）的指数是最小响应曲面的映射估计。以下命题提供了一个半解析递归公式，用于计算克立格均值和方差（bu`（x），δ`（x））的~p（x）。命题2.1（Azimi等人[5]）。如果M（x）~ N（bu（x），（x） ），然后对任何∈ 五十、 （2.18）p`（x）=pM`（x）=minjMj（x）=L-1Yj=1Φ-r（`）j,式中Φ（·）是标准正常cdf，r（`）=[r，r，…，rL-1] T=（A（`）（x） A（`T）-1/2A（`）bu（x），带（`）A（L- 1） x L矩阵定义为viaA（`i，j）=1如果j=`，-1如果1≤ i=j<`，或`<i+1=j≤ 五十、 否则为0。推论2.2。对于L=2，我们有p（x）=p（M（x）≤ M（x））=Φbu（x）-bu（x）√δ（x）+δ（x）, p（x）=1- p（x）。下一个命题提供了另一个半解析公式来计算（2.6）中定义的m（x）。10胡瑞蒙和迈克尔·卢德科夫斯基命题2.3。假设L=2，设M`（x）~ N（bu`（x），δ`（x）），`=1，2是两个独立的高斯数。定义：=qδ（x）+δ（x），和a:=（bu（x）- bu（x））/d。那么M（1）（x）=min（M（x），M（x））的前两个矩由以下公式给出：M（x）≡ E[M（1）（x）]=bu（x）Φ(-a） +bu（x）Φ（a）- dφ（a），（2.19）EM（1）（x）= （bu（x）+δ（x））Φ(-a） +（bu（x）+δ（x））Φ（a）（2.20）- （bu（x）+bu（x））dφ（a）。方程（2.19）提供了一个封闭形式的表达式，用于计算L=2时的m（x）=E[m（1）（x）]。在L>2的情况下，可以使用高斯近似递归地计算m（x）。

例如，对于L=3，近似值Ey:=M（x）∧ M（x）由一个高斯随机变量，其均值/方差分别为（2.19）-（2.20）（即使用a和d），然后将命题2.3一次应用于M（1）（x）=eY∧ M（x）。预期的改善。序列设计的贝叶斯方法是基于贪婪优化采集函数。优化通过预期改善（EI）分数进行量化，该分数确定了根据（2.2）在降低全局经验允许函数EL方面最有希望的配对（x，`）。在我们的上下文中，EI分数是基于后验分布M（k）`的，它总结了迄今为止关于u`（x）的信息。我们的两个主要启发式算法被称为Gap UCB和Gap SUR:EGap-UCBk（x，`）：=-B`（x） +γkδ`（x）；（3.1）EGap-SURk（x，`）：=E[M（k）（x）- M（k+1）（x）|xk+1=x，`k+1=`，Fk]。（3.2）差距UCB分数是由MAB和偏好中的勘探开发权衡决定的，后验平均值差距小，克里格方差高。事实上，当地的经验GAP测量[17]b`（x） 确定最有希望的arm，而克里格方差δ`（x）促进勘探，以减少arm支付的不确定性。两者通过UCB（置信上限[46]）调节参数γK连接，该参数平衡勘探（δ`（x）高的区域）和开采（间隙小的区域）。Gap UCB的另一种解释是模仿一种复杂的抽样方案，该方案根据潜在排名问题的复杂性选择设计地点。事实上，差距`（x） ：=u`（x）- minj6=`uj（x）测量测试的硬度，无论u`（x）=miniui（x）；较小的`（x） 更难。同时，克里格方差δ（x）可以与从x处采样获得的信息增益有关（类似于apoint估计器的标准误差）。Gap SUR策略是从仿真优化的角度提出的。

重申我们努力降低（2.8）中的经验损失EL，这与（3.2）中的M缺口有关，EL=RM（x）F（dx）。因此，如果我们在设计中添加（x，`），Gap SUR准则将使用M（x）来指导自适应设计，目的是最大化其预期的局部减少。[6,10]中引入了这种逐步减少不确定性（SUR）的策略。（3.2）的评估要求计算M（1）（x）和M`（x）的预期均值和方差。更新公式（2.12）意味着（保持K固定）E[buK+1`（x）|xk+1=x，`K+1=`，Fk]=buK`（x），而（2.14）产生δ（K+1）`（x）。鉴于命题2.3，剩下的计算变得简单明了。对响应面进行排序的顺序设计11备注3.1。Gap SUR还与主动学习Cohn（ALC）[14]方法有关。在ALC中，后验方差的最小化是通过贪婪地最大化约化系数δ（x）来实现的。在Gap-SUR中，通过最大化M（x）的减少来实现EL的最小化。ALC范式提出了（3.1）的替代方案，即EGap-ALCk（x，`）=-B`（x） +γk[δ（k）`（x）-δ（k+1）`（x）]，它将克里格方差的预期下降与估计的差距混合在一起。渐近行为。Gap-SUR方法旨在将M-gaps设置为零，这相当于学习所有响应：M（x）=0<=> δ`（x）=0`, 见（3.2）。对于GP模型，在x处消失后验方差对应于在x附近密集的设计。因此，渐进地，Gap SUR启发式将生成在x×L上密集的设计。最后，可以调用先前关于GP模型一致性的结果（例如[13]），以确定^C→ C.另一方面，正确选择UCB计划（γk）对Gap UCB的性能至关重要。如果γk≡ 0则不能保证收敛。

事实上，考虑x，x（x） >（x） ，但基于临时Z（k）满意度b的估计差距（x） >b（x） >（x） 由于x处的估计误差。然后在k阶段，算法将更倾向于x上方的站点（因为其gapb较小）) 然后可能会被不确定地困住，永远不会意识到（x） 及（x） 这是错误的。因此，如果没有UCB，该算法容易陷入局部极小值. 同时，任意增加的无界γk→ +∞ 保证supxδ（k）`（x）→ 0`. 为此，Srinivas等人[46]证明，在累积后悔设置中γk=O(√对数k）应在样本量k中对数增长。关于如何选择γk（对于有限状态空间X的情况）的更多规则可在[17]中找到。另一种选择是一个本地化版本。例如，在-贪婪抽样，概率抽样 在任何一个步骤中，代替使用EI度量，（x，`）k+1在x×L中被均匀选择。这确保了设计Z（k）在x作为k时是稠密的→ ∞ 这是我们在实验中使用的一个特征。尽管如此，仍需调整K7的时间表→ γkis在黑盒设置中非常重要。因此，GAP UCB方法的使用对实现选择非常敏感，关于选择（γk）的进一步指导留给未来的研究。3.1. 选择下一个样本位置。将设计Z（k）增长到k=k，k+1。我们通过贪婪抽样策略（x，`）k+1=arg sup（x，`）使用EI分数∈X×LEk（X，`）。（3.3）因为上面介绍了一个全新的优化子问题，在计算上不需要的情况下，我们将替换arg supx∈带MaxArg的Xx∈TWT是一个有限的候选集。然后通过直接检查对T进行优化。