对我国经济干预控制问题的分析

N马尔可夫链转移概率矩阵nξ（n+1）ko∞k=0。让我们更详细地解释最后一句话。在上述条件下，链的初始状态nξ（n+1）ko∞k=0由α（sn）的分布确定=α（sn）l，l=2，3，N. 此外，在固定初始状态ξ（n+1）=ln+1∈ {2，3，…，N}链Nξ（N+1）ko∞k=0进入一种吸收状态sn+1∈ 已确定{0，1}。这一特性被称为吸收概率，并用马尔可夫链nξ（n+1）ko的转移矩阵的元素表示∞k=0，下一节将给出相应的公式。因此，在条件bν（n）=kn和ζn=bξkn=sn下，链{ζn}的值∞n=0在下一时刻，ζn+1=sn+1不取决于过去，而是由给定的概率特征确定。根据马尔可夫过程理论中采用的术语，引入了马尔可夫链{ζn}∞n=0可以称为嵌入在主随机过程nbξko中的链∞k=0。一个嵌套马尔可夫链{ζn}∞n=0将在分析构建的随机模型的特性和确定必要的概率特征方面发挥重要作用。六、 随机模型的主要特征在本节中，将使用吸收马尔可夫链的理论结果[16]。我们假设对于马尔可夫链snξ（n）ko∞k=0，n=0，1。给出了下列矩阵概率特征：在容许态集{2，3，…，N}内的转移概率的P矩阵具有维数（N-1） ×（N-1);在链的一步中，从容许态{2，3，…，N}到吸收态{0，1}的转移概率的P矩阵具有维数（N- 1) × 2;P-是从吸收态{0，1}到容许态{2，3，…，N}的转移概率矩阵。

该矩阵为零，维数为2×（N- 1);P-吸收态{0，1}跃迁概率矩阵。该矩阵是单矩阵，维数为2×2。然后，马尔可夫链的转移概率矩阵nξ（n）ko∞具有任意数字的k=0 n具有以下细胞结构p=PPPP假设给出了模型的以下成本特征。表示为CLMainProcessNbξko单次停留的收入∞在l状态下k=0∈ {2，3，…，N}在自由进化时期（没有外部影响）。设c=（cl，l∈ {2，3，…，N}）t是这些收入的列向量。将主要过程从边界状态s转移到内部状态i，s的相关成本值表示为d（s）∈ {0，1}，i∈ {2，3，…，N}。这些成本表征了外部影响的价格，决定了流程的转移。根据其经济内容，这些值为负值。基于吸收马尔可夫链理论，我们获得了有关模型的一些额外概率和成本特征的表示。设bi0，bi1b为马氏链nξ（n）ko的吸收概率∞k=0，n=0，1，2。分别在状态{0}和{1}中，前提是该进程在初始时间处于i状态；ξ（n）=i，i∈ {2，3，…，N}；请注意BI1=1- bi0，i∈ {2，3，…，N}。此外，Ri是与马尔可夫链nξ（n）ko行为相关的收入预期∞k=0，n=0，1，2。在吸收之前的一段时间内，前提是在初始时刻，该过程处于状态i；ξ（n）=i，i∈ {2，3，…，N}。在该模型中，假设与马尔可夫链nξ（n）ko行为相关的收入∞k=0，n=0，1，2，由参数c=（cl，l）确定∈ {2, 3, . . .

，N}）T，如上所述，在主过程nbξko的相应轨迹上产生收益∞k=0。然后，吸收概率矩阵B=（bi0，bi1，i∈{2,3，…，N}）由公式B=（I）定义-P）-1P，其中I-是相应维度的单位矩阵。向量r=（ri，i∈ {2，3，…，N}）t可表示为'r=（I- P）-因此，为了获得在考虑中的随机模型中解决最优控制问题的后续结果，有必要指定转移概率矩阵P、描述主要过程在无外部影响的时间段内演化的收入向量c以及d（s）i，i的集合∈ {2，3，…，N}，s∈ {0，1}，表征外部影响或主要过程控制成本的值。剩余的必要概率和成本特征是根据上述分析公式确定的。七、在分析管理效率的静态成本指标之后，我们现在开始研究随机马尔可夫模型中的控制问题，该模型具有离散时间和周期性输出到本文第四节描述的状态集边界。为此，我们引入了与马尔可夫链相关的成本加性泛函的概念。该函数描述了相应经济体系演变产生的随机收入或利润。科学文献中也有一些非国家的例子（例如，第8章[17]）。设有一个马尔可夫链{θk}∞k=0，状态的离散集Z={0，1，2，…}。纪梵的状态集可以是有限的，也可以是可数的。定义函数D:Z→ R、 也可以定义为其值集（ρi=D（i），i∈ Z） 。我们将解释通过过程{θk}的一次停留获得的ρias收入（正或负）∞k=0处于状态i，i∈ Z

考虑一个随机序列γn=nXk=0D（θk），n∈ {0, 1, . . .}定义1。一个随机序列（离散时间过程）{γn}∞n=0将被称为与马尔可夫链{θk}相关的成本加性泛函∞k=0。在进一步的介绍过程中，我们将使用马尔可夫链理论中的各种概念和性质。这一理论的详细介绍可以在以下基础版本中找到：[16]、[18]、[19]、[20]。我们构造了一个描述成本加性泛函{γn}行为的语句∞对于过程{θk}的长期演化，n=0∞k=0。这类陈述通常被称为德哥迪克定理。让我们在第8章【17】之后引用这句话。定理。设马尔可夫链{θk}∞k=0是不可约的、循环的和正的。还假设以下条件成立∞Xk=0 |ρk |πk<∞,其中π=（πk，k∈ Z） 是马尔科夫链{θk}的平稳分布∞k=0。然后对于任何初始状态i∈ Z以下关系成立。I=limn→∞nE[γn |θ=i]=Xi∈Zρiπi（6）将关系右侧的值称为（6）与马尔可夫链{θk}相关的平均固定特定收入是很自然的∞k=0。返回到引入的离散时间随机模型的研究，以及主过程nbξko时的控制∞当k=0到达状态集的给定子集的边界时，我们将考虑马尔可夫链{ζn}∞n=0嵌入在主进程中的内置V部分，作为马尔科夫链{θk}∞k=0。第六节中定义的模型成本特征将定义与主要流程相关的附加成本函数bξko∞k=0和nestedMarkov链{ζn}∞n=0。根据其经济内容，该功能将是一段时间内累积的随机利润。

在下面将要计算的某些条件下，可以应用约化遍历定理。然后，由关系式（6）确定的值I将具有平均特性的含义。根据关于马尔可夫和半马尔可夫随机过程控制理论的经典论文（[21]，[22]），我们将值I视为所考虑模型中控制有效性的指标。请注意，在随机控制理论的现代研究中，也考虑了类似的性能指标：[23]，[24]。未来将证明，通过第六节中定义的模型的初始概率和成本特征，可以明确表示固定成本指标（6）。我们注意到，该指标取决于离散概率分布α（0）=α（0）i，i∈ {2，3，…，N}, α(1)=α（1）j，j∈ {2，3，…，N}, 规定基本随机过程控制策略Bξko∞k=0和嵌套马尔可夫链{ζn}∞n=0。因此，该模型中的最优控制问题可以表述为极值问题I=Iα(0), α(1)→ 外部，α(0), α(1)∈ Γd（7），其中Γdis是在有限的容许控制集U={2，3，…，N}上定义的离散概率分布向量对集。为了解决最优控制问题（7），有必要建立函数I的依赖结构α(0), α(1)关于离散概率分布α（0），α（1）。然而，在给出和证明相应结果之前，我们对所构建模型的特征和所述的最优控制问题作了一些重要的评论。备注1。主过程控制方案ξko∞该随机模型中考虑的k=0不同于经典文献[21]、[22]和许多后续研究中采用的标准控制方案。

在该模型中，关于控制选择的决策是在过程nbξko∞k=0达到边界状态。在马尔可夫和半马尔可夫随机过程的标准控制方案中，当过程状态发生变化时，在每个时刻都会做出控制选择的决策。因此，过程的最优控制问题bξko∞k=0，这是离散时间模型的调整问题，并没有简化为关于形式（6）的平稳成本指标的随机控制问题的经典公式。备注2。我们引入了一个与模型的初始概率特征相关的重要假设。也就是说，我们假设马尔可夫链nξ（n）ko的吸收概率∞k=0，具有任意数字n∈ {0, 1, 2, . . . }满足条件bl0>0，bl1>0，l∈ {2，3，…，N}；同时，如前所述，bl0+bl1=1，l∈{2，3，…，N}。这个条件意味着具有任意数n的马尔可夫链∈ {0, 1, 2, . . . } 在概率等于1的有限时间内，达到其吸收态之一：{0}或{1}。对于构造的马尔可夫模型nbξko∞k=0此条件具有以下概率含义。作为下一个外部影响（控制）的结果，马尔可夫过程bξko∞k=0被转移到一个内部容许状态{2，3，…，N}。在此之后，主要流程Nbξko∞k=0，概率等于1，达到其一个边界状态{0}或{1}。接下来，执行以下外部影响（控制），因此该过程将转移到一个内部允许状态。nbξko过程的进一步演化∞根据上述法律，k=0独立于过去发生。

因此，该条件确保了过程nbξko的长期演变∞k=0，无论在状态集到达边界时进行的控制。这个性质可以称为所构造的随机模型的稳定性。我们强调，对于任何控制流程的策略，都将执行此操作Nbξko∞k=0，由概率分布（α（0），α（0））确定。如后文所示，该条件还确保了嵌入在进程nbξko中的一些辅助马尔可夫链的单一平稳分布的存在∞k=0。将来，我们在证明主要结果时，将要求完全满足该条件。现在，我们可以着手制定和证明关于控制有效性的平稳成本指标的明确表述。定理1。假设所考虑的托卡斯蒂克模型满足以下条件：bl，0>0，bl，1>0，l∈{2，3，…，N}。然后，固定成本指标I=I采用以下表示α(0), α(1), 由关系（6）定义。I=Iα(0), α(1)=NPm=2NPm=2A（m，m）α（0）mα（1）mNPm=2NPm=2B（m，m）α（0）mα（1）m（8），其中（m，m）=hd（0）m+rmibm，0+hd（1）m+rmibm，1（9）B（m，m）=bm，1+bm，0（10）证明。我们首先证明了以下与辅助马尔可夫链{ζn}的概率特征相关的引理∞n=0。引理1。假设条件bl，0>0，bl，1>0，l∈ 满足{2，3，…，N}。然后马尔可夫链的转移概率{ζN}∞n=0由epij=P（ζn+1=j |ζn=i）=NXl=2α（i）lblj，（11）i，j确定∈ Z={0，1}引理1的证明。在证明过程中，将考虑与主过程轨迹相关的各种随机事件Dnbξko∞k=0。

根据关于随机模型构造的初始假设（第五节），所有这些事件都是在概率空间上定义的(Ohm, A、 P），即σ代数A的元素。我们计算过程的任意连续矩nbξko∞k=0进入边界状态：bνn=kn，bνn+1=kn+1，我们将考虑与过程的轨迹nbξko相关的随机事件∞时间间隔上的k=0kn，k【n+1】.现在我们确定了州i∈ Z={0，1}并考虑随机事件bξkn=i. 随后将引入的事件将在该事件发生的条件下予以考虑bξkn=i发生，即在与此事件对应的一组基本结果上。注意，如果条件bξkn=i, 令人满意，即在时间knprocessnbξko∞k=0处于边界状态i，则根据所采用的随机模型在kn+1时的特性，它将转移到一个内部允许状态l∈ {2，3，…，N}，即系统之一bξkn+1=l,l∈ 将实现{2，3，…，N}。因此，有一个嵌入bξkn=iN[升=2bξkn+1=l, 我∈ Z={0，1}来自systemn的事件bξkn+1=l, l∈ {2，3，…，N}成对不相容。同时，他们中的每一个人都与活动bξkn=i, 由于控制的结果，从边界状态i∈ Z可以变成任何内部状态l∈ {2，3，…，N}。我们接下来考虑事件bξkn+1=j, j∈ Z={0，1}-某个边界状态。只有当主进程nbξko作为之前控制的结果时，才能实现此事件∞k=0已传输到一个内部状态1∈ {2，3，…，N}，即不兼容VENTSN系统之一bξkn+1=l，l∈ {2，3，…，N}发生了。

因此，可以认为，在本实验的结果集上，对应于固定条件bξkn=i,事件的嵌入bξkn+1=jN[升=2bξkn+1=l, j∈ Z={0，1}。从评论中可以看出，总体概率集适用于对事件做出响应的基本结果集bξkn=i. 在这种情况下，主要事件的角色（需要确定其概率）将扮演该事件的角色bξkn+1=j, 不相容假设系统的作用bξkn+1=l, l∈ {2，3，…，N}o。所有特定事件的概率都是在以下条件下确定的bξkn=i.根据全概率公式，我们得到了bξkn+1=j | bξkn=i==NXl=2Pbξkn+1=j | bξkn=i，bξkn+1=lPbξkn+1=l | bξkn=i（12） 同时，根据所构建模型的性质（见关系式（2），（4）及其相应的解释）。Pbξkn+1=l | bξkn=i= α（i）l，l∈ {2，3，…，N}，i∈ {0, 1}.（13） 我们使用构建的随机模型的另一个属性。在下一次撞击进入边界状态并产生控制后，过程Nbξko的演化∞k=0将仅取决于进程作为控制结果传输到的状态。对于任何i，j∈ {0，1}，l∈ {2，3，…，N}有一个等式bξkn+1=j | bξkn=i，bξkn+1=l== Pbξkn+1=j | bξkn+1=l（14） 过程nbξko的轨迹∞k=0时，时间间隔[kn+1，kn+1]与吸收马尔可夫链nξ（n+1）ko的轨迹一致∞k=0（见关系式（5）和相应的解释）。因此，等式（14）右侧的转移概率将与链nξ（n+1）ko的吸收概率一致∞k=0。Pbξkn+1=j | bξkn+1=l== Pξ（n+1）kn+1-千牛-1=j |ξ（n+1）=l= blj，（15）l∈ {2, 3, . . .

，N}，j∈ {0, 1}.从（14）和（15）中可以看出，对于任何一家公司而言∈ {0，1}Pbξkn+1=j | bξkn=i，bξkn+1=l= blj（16）l∈ {2，3，…，N}，j∈ {0, 1} .将（13）和（16）代入关系式（12），我们得到bξkn+1=j | bξkn=i==NXl=2α（i）lblj，i，j∈ {0, 1} . （17） 需要注意的是，在所采用模型的框架内，事件是一致的bξkn=s=（ζn=s），s∈ {0，1}，n=0，1，2。引理1的断言源自等式（17）。定理1的证明。考虑辅助马尔可夫链{ζn}的性质∞n=0。如果条件bl0>0，bl1>0，l∈ 满足{2，3，…，N}，则引理1的陈述（关系式（11））意味着epij>0，i，j∈ {0, 1}. 因此，阿吉文链的状态是相互关联的，并形成一类，即该马尔可夫链是不可约的。此外，链Z={0，1}的状态集是有限的；由此可知，所有状态都是周期性的和积极的。众所周知（[16]，[17]），具有指示性质的马尔可夫链具有唯一的平稳分布π=（π，π），满足方程组π=πep+πepπ=πep+πepπ+π=1（18）。方程组（18）的解为π=ep1- ep+ep=epep+ep，π=1- ep1- ep+ep=epep+ep（19）将转移概率公式（11）代入方程（19），我们得到π=NPl=2α（1）lbl0NPl=2α（0）lbl1+NPl=2α（1）lbl0（20）π=NPl=2α（0）lbl1NPl=2α（0）lbl1+NPl=2α（1）lbl0（21）。我们现在定义了与辅助马尔可夫链{ζn}相关的成本加和函数∞n=0。我们将假设通过该过程在状态i中的单次停留获得的收入ρi∈ Z={0，1}，与所考虑的系统中产生的平均性能相一致，从主要随机过程Nbξkohits the boundaryntate i直到下一个状态进入边界状态所经过的时间。