最优跟踪的渐近下界：一个线性规划

然后我们可以写出ejε（uε，τε，ξε）=Kε-1Xk=0Ztεk+ΔεtεkrtD（Xεt）+εβQltQ（uεt）dt+Xj:tεk<τεj≤tεk+ΔεεβFkτεjF（ξεj）+εβPhτεjP（ξεj）=Kε-1Xk=0ΔεZtεk+ΔεtεkrtD（Xεt）+εβQltQ（uεt）dt+Xj:tεk<τεj≤tεk+ΔεεβFkτεjF（ξεj）+εβPhτεjP（ξεj）（tεk+1）- tεk）=kε-1Xk=0jεtεk（tεk+1- tεk），其中jεtεk=ΔεZtεk+ΔεtεkrtD（Xεt）+εβQltQ（uεt）dt+Xj:tεk<τεj≤tεk+ΔεεβFkτεjF（ξεj）+εβPhτεjP（ξεj）.当ε趋于零时，我们近似有jε（uε，τε，ξε）\'ZTjεtdt。因此，我们研究了jεtasε→ 这与布朗运动的时间平均控制问题密切相关。要看到这一点，请考虑以下对地平线上的Xε（t，t+Δε）进行重新缩放：eXε，ts=εβXεt+εαβs，s∈ （0，Tε），其中Tε=ε-αβδε，α=2和β>0有待确定（此处α=2与布朗运动的标度性质有关）。我们用上标t表示标度系统响应于视界（t，t+Δε）。然后，xε的动力学由[48，命题V.1.5]，eXε，ts=eXε，t+Zsebε，tνdν+Zsqeaε，tνdfWε，tν+Zseuε，tνdν+X0<eτε，tj给出≤seξεj，其中ebε，ts=-ε(α-1） βbt+εαβs，eaε，ts=at+εαβs，fWε，ts=-εβ（Wt+εαβs）- Wt），andeuε，ts=ε（α-1） βuεt+εαβs，eξεj=εβξεj，eτε，tj=εαβ（τεj- （t）∨ 0.注意（fWε，ts）是一个关于fε的布朗运动，ts=Ft+εαβs。稍微滥用符号，我们写出了dexε，ts=ebε，tsds+qeaε，tsdfWε，ts+euε，tsds+d（X0<eτε，tj）≤seξεj），s∈ （0，Tε）。

（2.4）利用成本函数的齐性性质（2.1），我们得到jεt=tεZTεεβζDrt+εαβsD（eXε，ts）+εβQ-(α-1） ζQβlt+εαβsQ（euε，ts）ds+X0<eτε，tj≤TεεβF-(α-ζF）βkt+εαβeτε，tjF（eξεj）+εβP-(α-ζP）βht+εαβeτε，tjP（eξεj）\'TεZTεεβζDrtD（eXε，ts）+εβQ-(α-1） ζQβltQ（euε，ts）ds+X0<eτε，tj≤TεεβF-(α-ζF）βktF（eξεj）+εβP-(α-ζP）βhtP（eξεj）.第二个近似值可以通过成本系数rt、lt、KT和ht的连续性进行调整。现在，如果存在β>0，那么βζD=βQ- (α - 1） ζQβ=βF- (α - ζF）β=βP- (α - ζP）β，即β=βFζD+α- ζF=βPζD+α- ζP=βQζD+（α- 1） ζQ，（2.5）其中α=2，那么我们有jεt\'εβζDIεt，其中iεt=tεZTεrtD（eXε，ts）+ltQ（euε，ts）ds+X0<eτε，tj≤TεktF（eξεj）+htP（eξεj）. （2.6）通过适当选择Δε，我们得到了Δε→ 0，Tε→ ∞.因此，Ebε，ts\'0和eaε，ts\'ats表示∈ （0，Tε）。因此，（2.4）的动力学几乎是一个受控布朗运动，扩散矩阵为。我们推导出Iεt&I（at，rt，lt，kt，ht），（2.7），其中右侧的术语定义为I（a，r，l，k，h）=inf（u，τ，ξ）lim supS→∞ShZSrD（Xs）+lQ（美国）ds+X0≤τj≤skF（ξj）+hP（ξj）i、 （2.8）带XS=√aWs+Zsurdr+X0≤τj≤因此，我们得到ε→ 0:Jε\'ZTjεtdt\'εβζDZTIεtdt&εβζDZTItdt。那么我们可以预期（2.8）等于以下预期成本标准（a，r，l，k，h）=inf（u，τ，ξ）lim supS→∞经济特区rD（Xs）+lQ（美国）ds+X0≤τj≤skF（ξj）+hP（ξj）i、 （2.10）参见示例[7,23,24]。因此，我们将使用后一个版本来描述下边界，因为它更容易操作。备注2.1。弱收敛方法是证明类似于（2.7）的不等式的经典方法，尤其是在重传输网络的研究中（见[38，第9节]的概述）。通常的弱收敛定理可以证明当ε趋于零时，扰动系统在Skorohod拓扑中收敛到受控布朗运动。

然而，由于时间范围趋于一致，这并不立即意味着时间平均成本函数（如Iεt）的收敛。在[39]中，作者考虑了重极限下受控队列的路径平均成本问题，其中控制项是绝对连续的。他们使用正则路径空间上的经验“泛函位置测度”，并将极限描述为受控布朗运动。[10]中也使用了相同的方法研究单类排队网络。然而，这种方法不能直接应用于单一/脉冲控制，因为难以确定占领措施的强度。事实上，通常的斯科罗霍德拓扑不适用于脉冲控制项εt:=X0<eτεj≤的确，在奇异/脉冲控制的情况下，{eYε}在Skorokhod拓扑下通常是不紧的。例如（参见[37，p.72]），考虑一个族（Yεt），其中函数Yεt在t<1时等于零，并向上跳跃一定量√ε乘以1+iε，i=0，1，ε-1/2直到它达到统一值。Yε的自然极限当然是{t≥1} 但这个序列在斯科罗霍德拓扑中并不紧密。[32]中讨论了这种收敛的性质，并在[26]中提供了相应的拓扑结构。这种困难可以通过引入随机时间变化来避免，在此之后（合适的内极化）控制项变为一致的Lipschitz，从而在目的论下收敛。[8,9,37]中使用了这种技术来研究具有折扣成本的受控队列的收敛性。这似乎是将[39]方法扩展到奇异/脉冲控制的一种可能的替代方法。

然而，分析可能会涉及很多内容。我们将使用布朗运动的时间平均控制问题的一个替代特征，而不是在较弱的拓扑中证明控制项（eYεt）的紧密性。在[34]中，作者将重传输极限下Jackson网络的时间平均控制描述为线性规划的解。结果表明，在状态空间而不是路径空间上使用占用测度能够有效地描述极限随机控制问题。然而，优化标准不是路径的。在本文中，我们结合使用[34]和[39]中的技术来获得路径下的lowerbounds。2.2下界为了恰当地说明我们在规则控制和脉冲控制相结合的情况下的结果，我们首先介绍以下线性规划问题的解I=I（a，r，l，k，h）：I（a，r，l，k，h）=inf（u，ρ）ZRdx×RdurD（x）+lQ（u）u（dx×du）+ZRdx×Rdξ\\{0ξ}kF（ξ）+hP（ξ）ρ（dx×dξ），（2.11）与（u，ρ）∈ P（Rdx×Rdu）×M（Rdx×Rdξ{0ξ}）满足下列约束条件：Rdx×RduAaf（x，u）u（dx×du）+ZRdx×Rdξ{0ξ}Bf（x，ξ）ρ（dx×dξ）=0，F∈ C（Rdx），（2.12）af（x，u）=Xi，jaijijf（x）+hu，f（x）i，Bf（x，ξ）=f（x+ξ）- f（x）。我们将在第4.2节中看到，它本质上是时间平均控制问题（2.9）-（2.10）的等价表征。在例4.6中，我们考虑一种特殊情况，对于这种情况，I和最优解u*, ρ*可以明确确定。从现在起，我们做出以下假设。假设2.1（线性规划的正则性）。由（2.11）-（2.12）定义的函数I=I（a，r，l，k，h）是可测量的。假设2.2（模型）。可预测过程（at）和（bt）是连续的，并且（at）是[0，T]上的正定义。假设2.3（优化标准）。

成本函数（rt），（lt），（kt）和（ht）的参数在[0，T]上是连续的和正的。假设2.4（渐近框架）。成本泛函满足齐性（2.1），并且对于某些β>0的情况，关系式（2.5）成立。备注2.2。让我们简略地评论一下上述假设。假设2.1是避免病理病例的必要条件。在大多数示例中，函数I是连续的（参见示例4.3-4.7）。假设2.2-2.3对X的动力学施加最小的规律性o以及成本参数。假设2.4确保所有成本具有相似的数量级。其次，我们介绍以下概念。定义2.1。设{Z，（Zε）ε，ε>0}为同一概率空间上的随机变量(Ohm, F、 P）。我们说，如果δ>0，limε→0P[Zε>Z- δ] = 1.我们写lim-infε→0Zε≥pZ。现在我们给出了正则控制和脉冲控制相结合情况下的主要结果。定理2.1（规则和脉冲组合控制的渐近下界）。在假设2.1、2.2、2.3和2.4下，我们得到了lim infε→0εβζDJε（uε，τε，ξε）≥pZTI（at，rt，lt，kt，ht）dt，（2.13）对于任何允许的跟踪策略序列{（uε，τε，ξε）∈ A、 ε>0}。因此，在定理2.1中，我们用线性规划解I的积分表示了跟踪问题的下界，这将在第4节被解释为布朗运动的时间平均控制。对于任何子序列ε，我们总是可以选择进一步的子序列ε，使得lim infε→0（ε）βζDJε（uε，τε，ξε）≥ZTI（at，rt，lt，kt，ht）dt- δ、 几乎可以肯定。因此，通过法头引理，以下推论成立。推论2.1。

我们有lim infε→0εζDβE[Jε（uε，τε，ξε）≥ EhZTI（at、rt、lt、kt、ht）dti。3定理2.1对其他类型控制的扩展在这一节中，我们考虑正则控制和奇异控制相结合的情况，以及只有一种类型控制的情况。特别是，我们将看到，在存在奇异控制的情况下，算子B是不同的。从形式上讲，我们可以对所有三个控件的组合给出类似的结果，甚至在存在多个具有不同成本函数和缩放特性的相同类型控件的情况下。为了避免繁琐的注释，我们将自己局限于实践中有意义的案例，第4.3.1节中的明确示例说明了常规和单一控制相结合。当固定成本成分不存在时，即F=0，脉冲控制和单一控制可以合并。在这种情况下，制定跟踪问题的自然方法是考虑策略（uε，γε，νε），uε与之前一样是一个渐进的可测量过程，γεt∈  以及（εt）一个可能不连续的非递减过程，使得xεt=-十、ot+Ztuεsds+Ztγεsdаεs，和jε（uε，γε，аε）=ZtrtD（Xεt）+εβQltQ（uεt）dt+ZTεβPhtP（γεt）d~nεt。为了避免简并，我们假设对于任何γ∈ ,P（γ）>0。（3.1）使用与前一节中类似的启发式参数，我们考虑了布朗运动的时间平均控制，以及正则和奇异控制的组合i（a，r，l，h）=inf（u，γ，ν）lim supS→∞经济特区rD（Xs）+lQ（美国）ds+ZShsP（γs）dаsi，（3.2）其中=√aWs+Zsurdr+Zsγrd~nr。

（3.3）相应的线性规划问题由i（a，r，l，h）=inf（u，ρ）ZRdx×Rdu给出rD（x）+lQ（u）u（dx×du）+ZRdx×x R+δhP（γ）ρ（dx×dγ×dδ），（3.4）带（u，ρ）∈ P（Rdx×Rdu）×M（Rdx×） x R+δ）满足以下约束条件tzrdx×RduAaf（x，u）u（dx×du）+ZRdx××R+δBf（x，γ，δ）ρ（dx×dγ×dδ）=0，F∈ C（Rdx），（3.5）af（x，u）=Xijaijijf（x）+hu，f（x）i，Bf（x，γ，δ）=（hγ，f（x）i，δ=0，δ-1.f（x+Δγ）- f（x）, δ > 0.我们有下面的定理。定理3.1（正则和奇异组合控制的渐近下界）。假设I（a，r，l，h）是可测量的，参数（rt），（lt）和（ht）是连续且正的，假设2.2成立，假设2.4满足某些β>0。那么，lim infε→0εβζDJε（uε，γε，νε）≥pZTI（at，rt，lt，ht）dt，（3.6）对于任何允许的跟踪策略序列{（uε，γε，νε）∈ A、 ε>0}。通过对定理2.1和定理3.1的证明进行明显的改进，我们很容易在只存在一个控制的情况下得到以下界。3.2脉冲控制系数（τε，ξε）∈AJε（uε，τε，ξε），其中jε（uε，τε，ξε）=ztrd（Xεt）dt+X0<τεj≤TεβFkτεjF（ξεj）+εβPhτεjP（ξεj）,andXεt=-十、ot+X0<τεj≤我们有以下定理。定理3.2（脉冲控制的渐近下界）。设I=I（a，r，k，h）由I（a，r，k，h）=inf（u，ρ）ZRdxrD（x）u（dx）+ZRdx×Rdξ\\{0ξ}（kF（ξ）+hP（ξ））ρ（dx×dξ）和（u，ρ）∈ P（Rdx）×M（Rdx×Rdξ{0ξ}）满足以下约束条件：zrdxaaf（x）u（dx）+ZRdx×Rdξ{0ξ}Bf（x，ξ）ρ（dx×dξ）=0，F∈ C（Rdx），其中af（x）=Xi，jaijijf（x），Bf（x，ξ）=f（x+ξ）- f（x）。假设I（a，r，k，h）是可测量的，参数（rt），（kt）和（ht）是连续且正的，假设2.2成立，假设2.4满足某些β>0。

那么，lim infε→0εβζDJε（τε，ξε）≥pZTI（at，rt，kt，ht）dt。关于I.3.3奇异控制consisderinf（γε，νε）的封闭形式解，参见示例4.5∈AJε（γε，νε），其中jε（γε，νεε）=ztrd（Xεt）dt+ZTεβPhtP（γεt）d~nεεt和Xεt=-十、ot+Ztγεsd~nεs。我们有以下定理。定理3.3（奇异控制的渐近下界）。设I=I（a，r，h）由I（a，r，h）=inf（u，ρ）ZRdxrD（x）u（dx）+ZRdx×给出×R+δhP（γ）ρ（dx×dγ×dδ），带（u，ρ）∈ P（Rdx）×M（Rdx×） ×R+δ）满足以下约束条件TZrDxaaf（x）u（dx）+ZRdx××R+δBf（x，γ，δ）ρ（dx×dγ×dδ）=0，F∈ C（Rdx），其中af（x）=Xijaijijf（x），Bf（x，γ，δ）=（hγ，f（x）i，δ=0，δ-1.f（x+Δγ）- f（x）, δ > 0.假设I（a，r，h）是可测量的，参数（rt）和（ht）是连续且正的，假设2.2成立，假设2.4满足某些β>0。那么，lim infε→0εβζDJε（γε，νε）≥pZTI（at，rt，ht）dt。关于I.3.4正则控制Considerinfuε的闭式解，参见示例4.4∈AJε（uε），其中jε（uε）=ZTrtD（Xεt）+εβQltQ（uεt）dt和xεt=-十、ot+Ztuεsds。我们有下面的定理。定理3.4（正则控制的渐近下界）。设I=I（a，r，l）由I（a，r，l）=infuZRdx×Rdu给出rD（x）+lQ（u）u（dx，du），带u∈ P（Rdx×Rdu）满足以下约束条件tzrdx×RduAaf（x，u）u（dx，du）=0，F∈ C（Rdx），其中af（x，u）=Xi，jaijijf（x）+hu，f（x）i.假设i（a，r，l）是可测量的，参数（rt）和（lt）是连续且正的[0，T]，假设2.2成立，假设2.4满足某些β>0。那么，lim infε→0εβζDJε（uε）≥pZTI（at，rt，lt）dt。关于I.备注3.1（上限）的闭式解，参见示例4.3。我们很自然地会想，我们理论中的下限是否很紧，如果是这样的话，实现它们的策略是什么。

在接下来的工作中，我们证明了对于第4节中提供的例子，有一些封闭形式的策略达到了下界。例如，在规则控制和脉冲控制相结合的情况下，这意味着存在（uε，*, τε,*, ξε,*) ∈ 一个这样的常数ε→0εβζDJε（uε，*, τε,*, ξε,*) →pZTI（at，rt，lt，kt，ht）dt。这些最优策略本质上是布朗运动时间平均控制最优策略的时变版本。4下界解释和示例本节的目标是对OREMS 2.1、3.1、3.2、3.3和3.4中的下界进行概率解释，这些下界用线性规划表示。特别是，我们想把它们与布朗运动的时间平均控制问题联系起来。据我们所知，时间平均控制问题与线性规划之间的等价性还没有普遍的结果。部分结果存在于[7,20,33,34,36]中，但并未涵盖我们需要的所有病例。在这里，我们提供了一个简短的独立研究，使我们能够研究单一/脉冲控制及其与常规控制相结合的情况。我们提出了受控鞅问题，并证明了它们可以被视为受控布朗运动（1.1-局部）的放松版本。然后我们在这个鞅框架下建立了时间平均控制问题。最后，我们证明了这个问题在有限维线性规划中有一个等价的描述。

虽然获得这些结果的基本成分和论据来自[33]和[35]，但我们提供了明确的条件，以保证这两种配方的等效性。4.1与受控布朗运动相关的鞅问题[2,42,47,51]中，作者获得了交易成本下效用最大化问题的价值函数的一阶HJB方程，这基本上为他们的控制问题提供了一个下界。他们提到了HJB方程和布朗运动的时间平均控制问题之间的联系，另见[21]。在这里，我们希望严格地在我们的下界中的线性规划和布朗运动的时间平均控制之间建立一个等价性。这就引出了受控布朗运动的一个放松版本。我们将在下一节提供的示例中看到所有这些公式的最佳成本是一致的。我们将自己置于[35]的环境中，从中借用并重新表述了几个元素，并假设状态空间E和控制空间U和V是完整的、可分离的度量空间。考虑一个操作符A:D Cb（E）→ C（E×U）和一个算子B:D Cb（E）→C（E×V）。定义4.1（受控鞅问题）。一个三元组（X，λ，Γ）具有（X，λ）一个E×P（U）值过程和Γ一个L（E×V）值随机变量，是（A，B）初始分布为ν的受控鞅问题的解∈ P（E）如果存在一个过滤（Ft），使得过程（X，λ，Γt）是Ft渐进的，那么Xhas分布ν，对于每个f∈ D、 f（Xt）-ZtZUAf（Xs，u）∧s（du）ds-ZE×V×[0，t]Bf（x，V）Γ（dx×dv×ds）（4.1）是Ft鞅。我们现在考虑算子A和B的两种特殊情况，这两种情况与我们的下界有关。