用平均场博弈方法研究可耗尽资源的生产和开发

我们假设存在一个单一的市场价格p（因此市场是无差别的，这对于能源行业来说是一个合理的假设）；在均衡状态下，p是通过将总需求与该价格水平下的总供给相等来确定的。这种平衡在每个日期t瞬间实现，在下面的论述中被视为固定的。除了N个生产者之外，我们假设还有M个未分化的消费者。消费者j的需求（用dj表示）通过线性需求函数dj=D（p）=L取决于价格- p、 请注意，即使在零价格下，需求也是有限的，需求弹性也是有限的。用Q（M）需求表示的总需求是sumQ（M）需求：=MXj=1dj=M（L- p） 。现在，我们将总需求与总供给Q（N）相等，并用上面的右侧代替，以获得总供给与价格之间的平衡关系，Q（N）=M（L- p） 。最后，清洁价格可以通过反向需求函数PT=L表示-MQ（N）t=L-NMNNXi=1qit！=L-NM？Qt，（2.3），其中？Qt是平均生产率。为了获得一个非平凡的限制价格，因为生产商和消费者的数量都将进入实体，我们认为有必要∝ N、 在不丧失一般性的情况下（如有必要，重新定义L），我们假设M=N，因此pt=L-(R)Qt=D-1（(R)Qt），其中L可以解释为供应消失时的价格上限。2.2博弈价值函数和策略在连续时间古诺博弈模型中，每个参与者不断选择生产率qit，以最大化利润，其等于收入pt·qit减去生产和勘探成本，以r>0的比率进行综合和贴现。我们在有限的时间范围内工作[0，T]，其中T是外源指定的。

《地平线》的角色将在续集中重新探讨。每个玩家收到的价格通过反向需求函数（2.3）确定。si表示玩家i的策略：=qi，ai, 所有N玩家的总体战略文件：=s、 s。。。，序号. 从储备状态开始Xt，···，XNt=: Xt=x，每个玩家的目标函数Ji，i=1，N未来[t，t]定义为总贴现利润ji（s；t，x）：=EZTt公司D-1.NNXj=1qjs合格中介机构- Cq（qis）- Ca（ais）e-r（s）-t） ds公司Xt=x, （2.4）当期望值超过随机点过程Nj时，驱动Xj，进而驱动qj。Wefocus关注可容许的策略集A，其中sit=（qit，ait）是马尔可夫反馈控制sqit=qi（t，Xt），ait=ai（t，Xt），使得Ji（s；t，x）<∞, x个∈ RN+，对于所有i=1，N、 从（2.4）中，我们可以看到，每个玩家的策略选择取决于所有其他玩家的策略，这导致了一个非合作博弈。我们的目的是研究由此产生的（马尔可夫反馈）纳什均衡。重要的是，控制的反馈结构加上（2.3）意味着球员i对XT的依赖可以通过他的个人储备XIT和所有球员储备的总分布来总结。后者通过η（N）（t，x）定义的上累积分布函数来表征：=NNXj=1{Xjt≥x} 。因此，马尔可夫反馈控制qi，ai可等效表示为QIT=qit、 Xit；η（N）（t，·）, ait=ait、 Xit；η（N）（t，·）, i=1，N、 定义2.1（纳什均衡）。N人博弈的纳什均衡是一种策略*=s1，*, . . . , 序号，*, 对于si，*:=气，*, 人工智能，*如thatJi（s*; t、 十）≥ 冀（s）*,-i、 si）；t、 x个, 我∈ {1, 2, . . .

，N}，（2.5），其中（s*,-i、 si）是战略文件*将第i项替换为任意si=（qi，ai）∈ A、 换句话说，纳什均衡是N个参与者的一组策略，没有人可以通过单方面改变自己的策略来获得更好的效果。从理论上讲，可通过汉密尔顿-雅可比-艾萨克斯（HJB-I）方法找到当时参与者博弈的纳什均衡。HJB-I方法是利用动态规划原理，以其他参与者的策略为条目，推导出每个参与者的同值函数的偏微分方程。无论是从分析角度还是从数值角度，都很难通过（HJB-I）方法找到纳什均衡，即使对于小的N，例如N=2。因此，在下面的第2.3节中，我们将介绍平均场博弈模型asN→ ∞, 当层数非常大时，它近似于博弈的纳什均衡。2.3平均场博弈问题N→ ∞随着玩家数量变得非常多，N→ ∞, 由于大数定律，经验分布η（N）预计会收敛到CDFη。极限η（t，x）被视为t日所有参与者之间的储量分布，这意味着对于给定的t和x，所有参与者在t时的储量水平大于或等于x的比例。生产和勘探控制继续采用马尔可夫反馈形式qt=q（t，Xt；η（t，·）），at=a（t，Xt；η（t，·））。（2.6）为了重新求解供需平衡结算价格，我们使用时间t的总产量Q（t），定义为代表性生产者生产率相对于储量分布的Stieltjes积分，Q（t）：=-Z∞q（t，x；η）η（t，dx）。（2.7）注意，η（t，x）在x中递减，因此我们在积分中添加一个负号，以保持pq（t）为正。（2.7）中的定义是为当时的玩家游戏定义的原始“QT”的限制。

如前所述，Q（t）与清算价格viap（t，η（t，·））=D相关联-1（Q（t））=L+Z∞q（t，x；η）η（t，dx）。（2.8）对于从初始储量水平Xt=x（x）开始的代表性生产商∈ R+现在为ascalar），并通过给定的η（·，·）表示所有其他参与者的状态，平均场目标函数的定义类似于（2.4）：J（q，a；t，x，η）：=EZTt[p（s，η（s，·）]qs- Cq（qs）- Ca（as）]e-r（s）-t） ds公司Xt=x. （2.9）上述策略（qt，at）采用马尔可夫反馈形式（2.6），储量分布（η（s，·））是所有∈ [t，t]。我们再次指出，通过平均场术语Q（s），一名球员的优势会超过所有其他球员。我们将模型的平均场博弈纳什均衡定义为定义2.2（平均场博弈马尔可夫纳什均衡）。制造商MNE是三元组（q*, 一*, η*)[0，T]上的自适应过程的一种，用X表示*t DX溶液*t=-q*（t，X*t、 η*（t，·））dt+δdN*t、 t型≥ 0，X*~ η*（0，·），（2.10）然后η*（t，x）=P（x*t型≥ x） 是x的上CDF*t型t型∈ [0，T]和j（q*, 一*; t、 x，η*) ≥ J（q，a；t，x，η*), （q，a）∈ A、 （2.11）定义2.2包括两个条件。一个条件，我们可以称之为最优性条件，是每个生产者选择策略（q*, 一*) 考虑到其他人的策略，这会产生最佳的游戏价值。第二个条件，我们可以称之为一致性条件，是每个球员在策略（q）控制下的预备队动态*, 一*) 具有上累积分布函数η*这与进入目标函数的相同。在第3节中，我们介绍了定义2.2中定义的描述制造过程的微分方程，这是本文的核心问题。3 MFG MNE的平均场博弈纳什均衡解涉及两个偏微分方程。

一个方程是代表性生产者的博弈价值函数的HJBequation，该方程由动态规划原理导出，并得出均衡生产和勘探策略（q*, 一*).另一个方程是表征分布η的输运方程*储量流程X*受策略控制（q*, 一*) 从HJB方程中获得。第3.1节处理与代表性生产者的博弈价值函数相关的HJB方程。第3.2节将讨论表征储量分布演变的PDE。第3.3节讨论了与制造商MNE相关的整体耦合系统。数值方法和示例的详细信息将在第4.3.1节中讨论具有代表性的生产商的博弈值函数，即概率CDF的η（t，·）序列。结合目标函数（2.9），我们定义了代表生产者的博弈价值函数vη（t，x）：=sup（q，a）∈AJ（q，a；t，x，η）=sup（q，a）∈AEZTt[p（s；η）qs- Cq（qs）- Ca（as）]e-r（s）-t） ds公司Xt=x, （3.1）玩家从马尔可夫反馈控制集（2.6）中选择她的生产率q（t，Xt；η）和探索率a（t，Xt；η）。注意，上述η被视为一个外生参数，而价格仍然是总产量的内生函数：p（t；η（t，·））=D-1（Q（t））如（2.8）所示。这将在映射x 7之间引入全局依赖关系→ q（t，x）和p（t）。定义正向差异运算符xas公司xv（t，x）：=v（t，x+δ）- v（t，x）。引理3.1。

（3.1）定义的博弈值函数vη（t，x）满足HJB方程0=tvη（t，x）- rvη（t，x）+2β“p（t；η（t，·））- κ-xvη（t，x）+#+2β（λ（t）xvη（t，x）- κ)+, （3.2）终端条件vη（T，x）=0，其中最佳qη（T，x）和aη（T，x）由qη（T，x）=β给出L- Qη（t）- κ-xvη（t，x）+, （3.3）aη（t，x）=β（λ（t）xvη（t，x）- κ） +，（3.4），其中Qη（t）由方程Qη（t）+Z唯一确定∞βL- κ-xvη（t，x）- Qη（t）+η（t，dx）=0。（3.5）价格p（t）取决于qη（t，·）和给定储量分布η（t，·）通过（2.8）。证据由动态规划原理导出的（3.1）的相关HJB方程为0=tvη（t，x）- rvη（t，x）+supa≥0[-Ca（a）+aλ（t）xvη（t，x）]+supq≥0p（t；η（t，·））q- Cq（q）- qxvη（t，x）, （3.6）远期差异条款xv（t，x）是由于储量动态的跳跃，参见【25】。最佳勘探速率aη由一阶条件aη（t，x）=argmaxa确定≥0[-Ca（a）+aλ（t）xvη（t，x）]=β（λ（t）xvη（t，x）- κ） +，（3.7），其中我们插入了Cafrom（2.2）的二次型。类似地，最大化（3.6）中的最后一项以求解最优生产率qη会导致一阶条件0=qp（t，η（t，·））qη（t，x）- Cq（qη（t，x））- qη（t，x）xvη（t，x）<=> βqη（t，x）=p（t，η（t，·））- κ-xvη（t，x）+. （3.8）使用p（t，η（t，·））=L- Qη（t）产量（3.3）。将（3.3）的右侧与η（t，·），Z积分∞βL- κ-xvη（t，x）- Qη（t）+η（t，dx）=Z∞qη（t，x）η（t，dx）=-Qη（t）。（3.9）因此，Qη（t））满足G（Qη（t））=0，如（3.5）所示，其中G（Q）=Q+Z∞βL- κ-xvη（t，x）- Q+η（t，dx）。假设L>κ（否则产量永远不可预测且Q（t）=0），我们有G（0）>0和G（L- κ) < 0. 此外，Q 7→ G（Q）是连续的，因为被积函数一致有界，L- κ-xvη（t，x）- Q+≤ （L）- κ). 自第7季度起→ G（Q）是递减的，因此在[0，L]中存在唯一根Q（t- κ].

最后（3.2）使用（3.6）中的（3.7）和（3.8）。我们观察到HJB方程（3.2）的两个非标准特征。首先，最优生产控制（3.3）不仅取决于单个生产者的价值函数xvη（t，x），但也通过平均场值来显示所有球员的储备分布∞zvη（t，z）η（t，dz）。其次，（3.2）包含两个非局部项：正向差vη（t，x+δ）- vη（t，x）和积分∞zvη（t，z）η（t，dz）。HJB方程有两个边界条件。在t=t时，我们取v（t，x）=0，因为假设在规定的范围之外不可能再有生产。此外，可耗尽约束x≥ 0在x=0处施加边界条件，类似于[25]中针对单个可耗尽生产者的模型。由于生产q（t，0）=0在边界x=0上为零，因此我们有0=tvη（t，0）- rvη（t，0）+supa≥0[-Ca（a）+aλ（t）xvη（t，0）]=tvη（t，0）- rvη（t，0）+2β（λ（t）xvη（t，0）- κ)+, 0≤ t<t.（3.10）我们将在数值格式中使用边界条件方程（3.10）。在另一个极端，如x→ ∞ 然后xvη（t，x）→ 因此，对于κ>0，我们从（3.7）得到η（t，x）=0。因此，存在饱和储量水平xsat（t）[25，26]，使得η（t，x）=0x个≥ xsat（t）：由于大量储量和严格的正边际成本，勘探变得不可靠（此外，由于vη（t，x）预计在x中是凹的，aη（t，x）是单调递减的）。3.2储量分布的运移方程在本节中，我们通过储量过程Xtfrom（2.1）的上部累积分布函数η（t，·）的运移方程研究储量分布的演化，其中给出了控制速率λ（t）为，生产率qt=q（t，Xt），勘探速率为=a（t，Xt）的Ntisa点过程，即被视为外部输入。当储量达到零Xt=0时，生产停止qt=0。

随着勘探工作的开展，储量水平XT可以恢复到Xτ=δ，但等待到下一次发现的时间严格来说是正的。因此，P（Xt=0）>0，即x=0时Xthasa点质量的分布。因此，为了研究Xt分布的演化，我们考虑两部分：上累积分布函数η（t，x）=P（Xt≥ x） 在内部x>0；边界概率π（t）：=P（Xt=0）=1- η（t，0+）。上CDFη（t，x）被视为储备水平大于或等于x的球员的比例，π（t）被解释为没有储备的生产者的比例。以下命题给出了η满足的分段PDeth。见附录A.1中的证明。观察到，由于储量耗尽，生产放缓，limx↓0q（t，x）=0，在x=0时，η没有边界条件；相反，π（t）出现在η的偏微分方程中。命题3.1（运输方程）。储量过程Xt的分布以成对（π（t），η（t，x））为特征，其中η（t，x）=P（Xt≥ x） ，0<x<∞, 和π（t）：=1- η（t，0+）：tη（t，x）=λ（t）a（t，0）π（t）-Zx0+λ（t）a（t，z）η（t，dz）+q（t，x）xη（t，x），0<x≤ δ; （3.11a）tη（t，x）=-Zxx公司-Δλ（t）a（t，z）η（t，dz）+q（t，x）xη（t，x），x>δ。（3.11b）给定初始条件η（0，x）=η（x）和π（0）=1- η(0+).η（t，·）在x=0时的不连续性在x=δ、2δ、3δ、·······························。实际上，在x=kδ时，只有第一个（k- 1） η（t，x）的导数存在。换句话说，x的分布在x=0时具有点质量，在x=δ时具有一阶不连续性（非连续密度），在所有其他x>0时具有平滑密度。这种非光滑性是我们不处理未定义密度“m（t，x）=-xη（t，x）”。备注3.1。新发现的规模δ通常是随机的。

我们可以通过一个随机序列δn，n=1，2，…，对发现山进行建模，其中，每个δ均以某个分布Fδ（·）相同分布，且独立于模型中的所有其他分布。引入Fδ需要替换积分rxx-Δλ（t）a（t，z）η（t，dz）in（3.11b），Rxf（du）Rxx-uλ（t）a（t，z）η（t，dz）。类似地，在HJB方程中，我们将v（t，x+δ）替换为R∞v（t，x+u）Fδ（du）。为了简单起见，在本文的其余部分，我们坚持使用固定的发现大小。3.3 HJB运输方程体系定义2.2的一致性条件意味着制造商MNE的特征是HJB方程（3.1），其中我们插入了平衡CDFη*, 和输运方程（3.11），其中我们插入平衡q*和a*. 均衡价格过程为p*（t） =左+右∞q*（t，z）η*（t，dz）。由此产生的系统总结如下。提案3.2（制造商PDE）。平均场博弈纳什均衡（q*, 一*, η*) 由HJB方程确定：0=电视（t，x）- rv（t，x）+[-Ca（a*（t，x））+a*（t，x）λ（t）xv（t，x）]+p*（t） q*（t，x）- Cq（q*（t，x））- q*（t，x）xv（t，x）, 0<x，0≤ t<t，（3.12），其中q*（t，x）和a*（t，x）由q给出*（t，x）=βL- Q（t）- κ-xv（t，x）+, （3.13）a*（t，x）=β（λ（t）xv（t，x）- κ） +，（3.14），其中Q（t）由方程Q（t）=-Z∞βL- κ-xv（t，x）- Q（t）+η*（t，dx）=-Z∞q*（t，x）η*（t，dx），（3.15）和传输方程：tη*（t，x）=λ（t）a*（t，0）（1- η*（t，0+）-Zx0+λ（t）a*（t，z）η*（t，dz）+q*（t，x）xη*（t，x），0<x≤ δ;（3.16a）tη*（t，x）=-Zxx公司-Δλ（t）a*（t，z）η*（t，dz）+q*（t，x）xη*（t，x），x>δ。（3.16b）HJB方程和输运方程与η双重耦合*通过作为最优生产率q积分的总产量进入HJBequation*（t，x）关于平均油田储量分布η*（t，dx）。

相反，最佳产量和勘探率（q*, 一*) 由代表性生产商的HJB方程得出的储量分布η*(·).MFG-PDE系统解的存在性、唯一性和正则性仍然是一个持续的挑战和一个活跃的研究领域。对于系统（3.12）–（3.16），改善解的存在性和唯一性的困难在于非局部耦合项∞q（t，x）η（t，dx）和前向延迟项xv（t，x）=v（t，x+δ）- v（t，x）。在更常见的局部耦合情况下，具有代表性的生产者与状态（t，x）的平均场相互作用为形式f（t，x，m（t，x）），即参与者与邻居密度m（t，x）在相同（t，x）下相互作用。相反，在供需关系中，互动包括所有参与者，即他们的生产率（可以与边际价值挂钩xv（t，x））在所有x中。二阶古诺制造偏微分方程的相关证明已在【17，18】中提供。相应的储量动态涉及布朗噪声和无跳跃项（无勘探）。具体而言，Graber和Bensoussan【17】在玩家耗尽后退出游戏的情况下（Dirichlet边界条件）确定了MFG MNE的存在性和唯一性，而【18】最近证明了在储量可以在x=0时外部完全补充的情况下解的存在性和唯一性（最终对应于Neumann边界条件）。他们的模型（波动率为零）可视为非勘探λ≡ ourmodel的0子案例。