EM算法与经济学中的随机控制

基于10000个模拟样本路径的历史图。图5比较了EM-C算法下第三阶段开始（即时间t=1/3）和第六阶段开始（即时间t=5/6）时的门票定价函数与MTO/MTS下的门票定价函数，后者是不变价格，不随剩余飞行能力变化。MTO下的价格与MTS下的价格相同，尽管两种算法采用了不同的示例，但2015年新加坡航空公司的收入为152.28亿美元，但利润为8.01亿美元，仅占收入的5.26%。如果门票的动态定价可以在不产生额外成本的情况下增加1%的收入，那么第三期的总收入将显著增加，第六期的收入EM-C MTO MTS EM-C MTO MTS EM-C MTO MTS mean 187292.9 185090。2 182433.5 31528。0 31669.5 30815.0 30199.0 26641.0 24655.8标准54.7 58.2 59.0 41.7 42.4 41.7 37.6 61.3 56.0偏度-0.31-1.42-0.99 0.16 0.15 0.18-0。3 0-0.74-0.31峰度3.12 5.05 3.75 2.96 3.06 2.99 3.02 3.89 2.971%分位数173321.7 166656.9 165253.7 22433.5 22389.7 21956.9 20804.8 8437.2 10390.95%分位数177686.2 173154.8 170998.6 24893.0 24884.1 24174.8 23695.9 15162.5 14674.295%分位数195699.0 190570.7 189292.2 38555 6.0 38833.6 37934.1 36028.7 35306.6 33237.399%分位数198886.7 190958.9 189292.2 41559.2 41917.8 41113.9 37924.738364.4 36544.1表2：多产品垄断定价：比较EM-C算法、MTO和MTS分别获得的收入分布，在模拟中使用N=10000条样本路径。“标准误差”表示平均估计值的标准误差。与theMTO和MTS算法相比，EM-C算法下的总收入分布具有更高的平均值、更高的偏斜度、更小的峰度和更高的分位数。

在第三阶段，EM-C算法的性能类似于MTO和MTS；然而，在第6个周期，EM-C算法在平均值和标准误差方面优于其他两种算法。将剩余直航能力分配给行程的政策。通过比较第三期初与第六期初的ICKET定价函数，我们可以看出，EM-C算法下第六期初的价格对剩余容量的敏感性高于第三期初的价格；这是合理的，因为最佳票价应该更多地取决于剩余容量，以便在仅剩一段时间出售门票时实现收入最大化。6应用2：真实商业周期在本节中，我们应用EM-C算法来研究真实商业周期的问题（参见Kydland和Prescott（198 2）、Long Jr.和Plosser（1983）、Hansen（1985）和Christiano（1990））。在文献中，这通常是在有限的时间范围内进行研究的，在此时间范围内可以计算出平稳解。特别是，对数线性二次（LQ）近似用于逼近目标函数，从而将问题转化为研究充分的线性二次规划问题。

然而，通过使用EM-C算法，我们发现，在有限时间范围内和有限时间范围内的问题RR200 100400 0EM-CMTO/MTSR400 0EM-CMTO/MTSR400 0EM-CMTO/MTSR400 0EM-CMTO/MTSR200 100400 0EM-CMTO/MTS0 200RREM-CMTO/MTS000RR400 0EM-CMTO/MTS0图5：多产品垄断定价：机票价格作为根据EM-C a lg算法获得的剩余容量的函数，以及在MTO/MTO下。第一行绘制第三阶段开始时的价格（即时间t=1/3），第二行绘制第六阶段开始时的价格（即时间t=5/6）。MTO下的价格与MTS下的价格相同，尽管这两种算法采用不同的政策将剩余的直航能力分配给行程。Rand Rdenote direct Flight 1的剩余容量→ 2和2→ 分别为3。p、 p和p请注明行程1的机票价格→ 2，2→ 3和1→ 2.→ 分别为3。lem。事实上，即使我们采用10年的时间范围，用于有限时间范围问题的政策可能与用于有限时间范围问题的政策非常不同；在有限时间范围内，我们的算法比对数线性LQ方法产生了更高的期望效用和更合理的控制策略。6.1模型参考文献中的标准无限期问题如下所示：∞Xt=0βtu（kt，kt-1，xt）#=E“∞Xt=0βtg1-τt1- τ#（41）s.t。

xt+1=ρxt+t+1，t≥ 0，kt=exp（xt）kγt-1.- gt+（1- δ） 千吨级-1，t≥ 0，gt∈ [0，exp（xt）kγt-1+（1- δ） 千吨级-1] ，t≥ 0，其中（k-1，x）为周期t=0时的初始状态；XT是t时期的技术创新水平，其演变遵循时间序列AR（1）模型；exp（xt）kγt-1是t期的总产量；GT是t期的消耗量；kt为期末t资本，取决于资本的折旧率δ；τ∈ （0，1）是风险偏好参数。当τ→ 1.-. 周期t的模型状态为st=（kt-1，xt）。对数线性LQ近似的主要思想是用线性或二次函数近似目标函数，从而使近似问题符合线性二次规划框架，该框架在分析上易于处理。设▄kt=对数（kt）。对数线性LQ近似方法将二阶泰勒级数展开应用于▄u（▄kt，▄kt-1，xt）：=u（exp（～kt），exp（～kt-1） ，xt）相对于（▄kt，▄kt-1，xt）关于（log k*, 日志k*, x个*), 其中k*和x*是通过设置所有t的t=0获得的（41）非随机版本的稳态值kt和xt。更准确地说，Christiano（1990，公式（2.19））给出了有限地平线问题（41）的对数线性LQ近似策略kt=（k*)（1）-λ） 经验值qk公司*λ1- βρλxtkλt-1，t≥ 0，其中x*= 0，k*=βγexp（x*)1.- （1）- δ） β1.-γ、 φ=1+β+（1- γ） [1- （1）- δ） β]τc*k*, （42）c*k*=β-1.- 1+δ（1- γ） γ，q=β（1）- ρ）c*k*+ δ+ρβτβ-1.- 1+δc*k*k*,λ是唯一解，因此λ- φλ+β=0和|λ|≤ 1、现在考虑一个新问题，即有限地平线版本，如下MaxCt，0≤t型≤T-1E“TXt=0βtu（kt，kt-1，xt）#=E“TXt=0βtg1-τt1- τ#（43）s.t。

xt+1=ρxt+t+1，0≤ t型≤ T-1，kt=exp（xt）kγt-1.- gt+（1- δ） 千吨级-1，0≤ t型≤ T- 1，gt=1+扩展（ct）exp（xt）kγt-1+（1- δ） 千吨级-1., 0≤ t型≤ T- 1，（44）gT=exp（xT）kγT-1+（1- δ） 千吨级-1，（45）ct∈ R、 0个≤ t型≤ T- 1，其中（44）用于施加约束0<gt<exp（xt）kγt-1+（1- δ） 千吨级-1端口=0，T-1.（45）指T期的可用资本在T期全部消耗。因此，根据问题（4）的表示法，问题（43）的最后一个周期效用由ut（sT，sT）给出-1，cT-1） =βT-1g1-τT-11- τ+βTg1-τT1- τ、 式中，GT由（45）给出。我们将使用EM-C算法解决这个有限时间范围问题。6.2数值结果假设问题参数为β=0.9 8、γ=0.33、τ=0.5、δ=0.025、ρ=0.95和td~ N（0，σe），σe=0.1。初始状态为s=（k-1，x）=（k*, 0），其中k*在（42）中给出。对照CTI规定asct=Xi=1θt，iφi（kt-其中{φi，i=1，2，3，4}是定义为φ（kt）的基函数-1，xt）=1，φ（kt-1，xt）=kt-1，φ（kt-1，xt）=exp（xt），φ（kt-1，xt）=kγt-在EM-C算法中，我们为所有t初始化C=0和θt=0。我们在模拟中使用N=10000个样本路径，在SA算法中使用m=2000个迭代。我们首先解决6年的问题（43），即T=6。在图6中，基于N=10000个样本路径的模拟，说明了EM-C最优控制和对数线性ARLQ近似的累积预期效用。EM-C算法经过3次迭代后收敛。完成每个迭代大约需要18分钟。EM-C算法得到的最优效用为28.53（标准误差为0.00 8）。

标准误差等于（24）右侧N个样本的样本标准偏差除以√N、 0 1 2 3迭代阻塞线性LQ图6：实际商业周期：通过EMC算法获得的效用值与通过t=6的问题（43）的对数线性LQ近似值的比较。EM-C算法经过3次迭代后收敛。完成每个迭代大约需要18分钟。EM-C算法获得的最佳效用为28.53（标准误差为0.008）。标准误差等于（24）右侧N个样本的样本标准偏差除以√N、 图7比较了最佳消耗GT与状态（kt）的关系-1，xt）在EM-C控制下的有限时间范围问题（43），以及在对数线性LQ方法下的有限时间范围问题。从图中可以清楚地看出，EM-C算法下t=5期间的最佳消耗量对kt更为敏感-1与对数线性LQ方法获得的结果相比。然后，我们解决问题（43）f，对于10年的情况，即T=10。在图8中，基于N=10000个样本路径的模拟，说明了EM-C最优控制的累积预期效用和对数线性ARLQ近似的累积预期效用。EM-C算法经过3次迭代后收敛。完成每个迭代大约需要30分钟。EM-C算法得到的最优效用为38.04（标准误差为0.01 6）。标准误差等于（24）右侧N个样本的样本标准偏差除以√N、 图9比较了最佳消耗量（控制策略）GT与状态（kt）的函数-1，xt）在EM-C控制下，针对T=10的问题（43），在对数线性LQ方法下，针对有限时间范围问题。

从图中可以清楚地看出，在EM-C算法下，t=9期间的最佳消耗量对kt更为敏感-1与对数线性LQ方法获得的结果相比。附录A一个简单的推导我们将证明（9）等同于（10）。事实上，乘（7），（9）等于toE“t-1Xj=0uj+1（sj+1，sj，cj）+T-1Xj=tuj+1（sj+1，sj，cj）ck公司-1，θk-1.θk-1吨-1，θkt，θkt+1，θkT-1个#≥ E“t-1Xj=0uj+1（sj+1，sj，cj）+T-1Xj=tuj+1（sj+1，sj，cj）ck公司-1，θk-1.θk-1吨-1，θk-1t，θkt+1，θkT-1#。（46）-1 40-0.5 30xtkt-10.5 10EM CLog线性LQ-1 4030-0.5kt-1xt0 200.5 101 0EM CLog线性LQ图7：实际商业周期问题：最佳消费（控制政策）GT与状态（kt）的函数比较-1，xt）在EM-C控制下的有限时间范围问题（43），T=6，以及在对数线性LQA方法下的有限时间范围问题。顶部图绘制了t=2的GT，底部图绘制了t=5的GT，这是最后一个周期的第二个周期。0 1 2 3迭代阻塞线性LQ图8：实际商业周期：通过EMC算法获得的效用值与通过t=10的问题（43）的对数线性LQ近似值的比较。EM-C算法经过3次迭代后收敛。完成每个迭代大约需要30分钟。EM-C算法获得的最佳效用为38.04（标准误差为0.016）。标准误差等于（24）右侧N个样本的样本标准偏差除以√N、 -1 4030-0.5xtkt-1100.5EM-CLog-linear LQ-1 4030-0.5xtkt-10 200.5 101 0EM CLog linear LQ图9：实际商业周期问题：作为状态函数的最佳消费G比较（kt-1，xt），在EM-C控制下，针对T=10的问题（43），在对数线性LQ方法下，针对有限时间范围问题。

上图绘制了t=2的GT，下图绘制了t=9的GT，这是最后一个周期的第二个周期。通过（2）和（3），Pt-1j=0uj+1（sj+1，sj，cj）取决于控制参数（c，θ，…，θt-1） 但不是控制参数（θt，…，θt-1） 。因此，我们有-1Xj=0uj+1（sj+1，sj，cj）ck公司-1，θk-1.θk-1吨-1，θkt，θkt+1，θkT-1#=E“t-1Xj=0uj+1（sj+1，sj，cj）ck公司-1，θk-1.θk-1吨-1，θk-1t，θkt+1，θkT-1#，表示（46）等于（10）。附录B理论证明SB。1理论证明。在EM-C算法中，迭代满足（9）和（11）。因此，我们有（ck-1，θk-1，θk-1.θk-1吨-3，θk-1吨-2，θk-1吨-（1）≤ U（ck-1，θk-1，θk-1.θk-1吨-3，θk-1吨-2，θkT-（1）≤ U（ck-1，θk-1，θk-1.θk-1吨-3，θkT-2，θkT-（1）≤ ···≤ U（ck-1，θk，θk，θkT-3，θkT-2，θkT-（1）≤ U（ck，θk，θk，…，θkT-3，θkT-2，θkT-1） ，从中完成证明。B、 2定理2的证明。我们首先回顾Wu（1983）的以下定义：如果xk，则设定mapρonX的点在x处闭合→ x、 xk公司∈ 十、 yk公司→ y、 和yk∈ ρ（xk）表示y∈ ρ（x）。我们还回顾了以下全局收敛定理（Zangwill（1969，p.91））：Lettthe序列{xk}∞k=0be由xk生成∈ M（xk-1） ，其中M是设置mapon X的点。设一个解集Γ 给出X，并假设：（i）紧集S中包含的所有点xkarecontained 十、（ii）M在Γ的补上闭合；（iii）X上有一个连续函数α，因此（a）如果X/∈ Γ，α（y）>α（x）表示ally∈ M（x），a和（b）如果x∈ Γ，α（y）≥ α（x）表示所有y∈ M（x）。然后解集Γ和α（xk）中xkare的所有极限点单调收敛到α（x*) 对于somex*∈ Γ。现在我们证明定理的第（1）部分。首先，我们证明了M是一个在Rn上设置映射的闭点。假设ak=（ak，ak，…，akT-（1）→ \'a=（\'a，\'a。

，位于-1） ，作为k→ ∞.假设bk=（bk，bk，…，bkT-（1）∈ M（ak）和bk→\'b=（\'b，\'b，…，\'bT-1） 作为k→ ∞.我们将展示\'b∈ M（(R)a）。自bk起∈ M（ak），它跟在U（ak，ak，…，akT）后面-2，黑色-（1）≥ U（ak，ak，…，akT-2，akT-1） ，则，kU（ak，ak，…，akt-1，bkt，bkt+1，bkT公司-（1）≥ U（ak，ak，…，akt-1，akt，bkt+1，bkT公司-1） ，则，t，kU（黑色，黑色，…，黑色-（1）≥ U（ak，bk，…，bkT-1） ，则，k、 让k→ ∞ 在上述不等式中，我们从U thatU（\'a，\'a，…，\'aT）的连续性得到fr-2，英国电信-（1）≥ U（\'a，\'a，…，\'aT）-2，在-1） ，则，kU（\'a，\'a，…，\'at）-1，\'bt，\'bt+1，\'bT-（1）≥ U（\'a，\'a，…，\'at）-1，\'at，\'bt+1，\'bT-1） ，则，t，kU（\'b，\'b，…，\'bT）-（1）≥ U（\'a，\'b，…，\'bT）-1） ，则，k、 这意味着b∈ M（(R)a）。因此，M是在Rn上设置map的闭合点。其次，我们将验证上述全局收敛定理的条件成立。设α（x）为U（x），解集Γ为S或M。然后，条件（i）遵循（15）和（14）。上述条件（ii）已获得批准。条件（iii）（a）从m（20）开始。条件（iii）（b）遵循（14）。因此，定理第（1）部分的结论遵循全局收敛定理。我们开始证明定理的第（2）部分。为了证明第（2）部分，我们只需要说明，在第（2）部分的条件下，（20）对任何xk都成立-1个/∈ S、 对于任何这样的-1，从集合S的定义可以看出U（xk-（1）xk公司-16=0。假设xk=xk-1、然后，对于每个j=T- 1，T- 2.1,0,xk-1J最大化函数Hj（y）：=U（xk-1，xk-1.xk公司-1j-1，y，xk-1j+1，xk公司-1吨-1） ，这意味着U（xk-（1）xk公司-1j=0表示所有j，这与此相矛盾U（xk-（1）xk公司-16=0。因此，xk6=xk-1、以ibe为最大指数xj∈ {0，1，…，T-1} 这样xkj6=xk-1j。然后，根据算法的规定，XKI最大化函数Hi（y）：=U（xk-1，xk-1.

，xk-1i-1，y，xk-1i+1，xk公司-1吨-1） butxk公司-1不会。因此，Hi（xki）>Hi（xk-1i）=U（xk-1） ，这意味着u（xk）≥ Hi（xki）>U（xk-1） 。因此，（20）适用于任何xk-1个/∈ S表示EM-C算法。然后，第（2）部分的结论来自定理的第（1）部分，这一部分已经被证明。B、 3定理3的证明。我们首先证明第（1）部分。根据定理2，{xk}k的所有极限点≥0are inS（U*) = {x*} （分别为M（U*) = {x*}). 因此，任何{xk}k的收敛子序列≥0接近x*, 这意味着xk→ x个*作为k→ ∞. 因此，理论的第（1）部分成立。接下来我们证明第（2）部分。根据条件（15），{xk}是一个有界序列。根据Ostrowski（1966）的定理28.1，有界序列{xk}的极限点集为kxk+1- xkk公司→ 0作为k→ ∞ 结构紧凑，连接紧密。此外，根据定理2，{xk}的所有极限点都在S（U）中*) （分别为M（U*)). 因此，第（2）部分的结论如下。附录C求解问题（12）和（13）的随机近似算法通过（21）和（23），问题（12）和（13）具有一般形式Maxy∈ΥEh▄f（y）i，（47）其中 Rm、~f（·）分别在（22）和（24）中定义。设{ak=（ak，…，akm）}∞k=1和{bk=（bk，…，bkm）}∞k=1b是两个确定的向量序列，使得ak>0，bk>0，k、 ak→ 0，黑色→ 0，作为k→ ∞,∞Xk=1aki=∞,∞Xk=1（aki）（bki）<∞, 作为k→ ∞, i=1，m、 设δi=（0，…，0，1，0，…，0）为Rm的第i个标准基。求解问题（47）的SA算法由1给出。初始化y∈ Rmand k=1.2。迭代k，直到满足某些停止条件。在第（k+1）次迭代时，更新ykT以使其超过k+1i=yki+akif（yk+ckiδi）-f（yk- ckiδi）cki！，i=1，m、 为了减少SA算法中的方差，在每次迭代k时，我们使用公共随机数生成2m个随机变量▄f（yk+ckiδi）和▄f（yk-ckiδi），i=1。