DGM：一种求解偏微分方程的深度学习算法

变量p取空间p中的值，我们对PDEu（t，x；p）的解感兴趣。（这有时被称为“PDE的参数化类”。）特别是，假设u（t，x；p）满足PDEut（t，x；p）=Lpu（t，x；p），（t，x）∈ [0，T]×Ohm,u（t，x；p）=gp（x），（t，x）∈ [0，T]×Ohm,u（t=0，x；p）=hp（x），x∈ Ohm. （6.1）传统的方法是对P空间进行离散化，并对许多不同的点P多次重新求解PDE。然而，网格点的总数（以及必须求解的PDE的数量）随着维数的增加呈指数增长，而P通常是高维的。我们建议使用DGM算法来近似不同边界条件、初始条件和物理条件下PDE（6.1）的一般解。深层神经网络使用随机时间、空间和问题设置点（t、x、p）序列上的随机梯度下降进行训练。与之前类似，o初始化θ。o重复直至收敛：–从[0，t]×生成随机样本（t，x，p）Ohm 从[0，t]×开始的x P，（▄t，▄x）Ohm, 和^x来自Ohm.– 构造目标函数j（θ）=ft（t，x，p；θ）- Lpf（t，x，p；θ）+总成（￠x）- f（▄t，▄x，p；θ）+hp（^x）- f（0，^x，p；θ）. （6.2）–使用随机梯度下降步骤θ更新θ-→ θ- αθJ（θ），（6.3），其中α是学习率。如果x是低维（d≤ 3） ，这在许多物理偏微分方程中很常见，f的第一和第二部分导数可以通过链式法则计算或通过有限差近似。我们在有限域上实现了Burgers方程的算法。ut=νux个- αuux、 （t，x）∈ [0，1]×[0，1]，u（t，x=0）=a，u（t，x=1）=b，u（t=0，x）=g（x），x∈ [0, 1].问题设置空间为P=（ν，α，a，b）∈ R、 初始条件g（x）被选为与边界条件u（t，x=0）=a和u（t，x=1）=b相匹配的线性函数。

我们训练一个单一的神经网络来逼近整个空间（t，x，ν，α，a，b）上u（t，x；p）的解∈ [0, 1] ×[0, 1] ×[10-2, 10-1] × [10-2, 1] × [-1, 1] × [-1, 1]. 我们使用了一个比前面的数值例子更大的网络（6层，每层200个单元）。图5比较了深度学习解决方案与几个不同问题设置的精确解决方案p。解决方案非常接近；在某些情况下，这两种解决方案可以明显区分。深度学习算法能够准确捕捉冲击层和边界层。图6显示了不同时间t和不同选择的ν的深度学习算法的准确性。当ν变小时，解变陡。它还显示了激波层随着时间的推移而形成。等高线图（7）报告了b和ν的不同选择的深度学习解决方案的绝对误差。图5：深度学习解决方案显示为红色。通过有限差分发现的“精确解”为蓝色。在时间t=1时报告溶液。解决方案非常接近；在一些情况下，这两种解决方案显然是不可区分的。逆时针顺序的问题设置为（ν，α，a，b）=（0.01，0.95，0.9，-0.9), (0.02, 0.95, 0.9, -0.9), (0.01, 0.95, -0.95，0.95），（0.02，0.9，0.9，0.8），（0.01，0.75，0.9，0.1）和（0.09，0.95，0.5- 0.5).7 PDE的神经网络近似定理让Lerror J（f）衡量神经网络f满足微分算子、边界条件和初始条件的程度。将CNA定义为具有n个隐藏单元的神经网络类，并将fnbea定义为具有n个隐藏单元的神经网络，使J（f）最小化。

我们证明存在fn∈ cnj（fn）→ 0，作为n→ ∞, 和fn→ u为n→ ∞,在适当的意义下，对于一类主项为发散形式的拟线性抛物型偏微分方程，在非线性项的某些增长性和光滑性假设下。我们的理论结果仅如图6所示：深度学习解决方案以红色显示。通过有限差分发现的“精确解”为蓝色。左图：t=0.1，0.25，0.5，1时（ν，α，a，b）=（0.03，0.9，0.95，-0.95).右图：时间t=1时ν=0.01、0.02、0.05、0.09的溶液与（α，a，b）=（0.8，0.75，-0.75).图7：不同b和ν（粘度）的深度学习解决方案的平均绝对误差等值线图。绝对误差在x上取平均值∈ 时间t=1时为[0，1]。涵盖一类拟线性抛物型偏微分方程，如本节所述。然而，本文的数值结果表明，这些结果具有更广泛的适用性。证明需要对神经网络的逼近能力以及偏微分方程的连续性进行联合分析。首先，我们证明了对于极大的n.J（fn），神经网络可以很好地满足微分算子、边界条件和初始条件→ 0作为n→ ∞. （7.1）让u成为PDE的解决方案。声明（7.1）并不一定意味着fn→ u、 证明收敛性的一个挑战是我们只能控制误差。我们首先通过建立每个神经网络{fn}，证明了均匀边界数据情况下的收敛性，即g（t，x）=0∞n=1具有源项hn（t，x）的统计PDE。重要的是，已知的源项hn（t，x）仅在L中消失。

然后我们可以证明fn的收敛性→ u为n→ ∞ 在适当的空间中，使用紧性参数。定理的精确陈述和证明的介绍将在接下来的两部分中进行。第7.1节证明J（fn）→ 0作为n→ ∞. 第7.2节包含Fn对微分方程解u的收敛结果，即n→ ∞. 主要结果是定理7.3。为了便于阅读，附录A.7.1中给出了相应的证明。在本节中，我们提出了一个定理，保证了多层前馈网络的存在，该网络能够在目标函数J（f）任意小的情况下，普遍逼近拟线性抛物型偏微分方程的解。为此，我们使用[26]中关于函数及其导数的通用近似的结果，并对偏微分方程的系数做出适当的假设，以确保经典解的存在（自那时起，应用了[26]中的结果）。考虑一个有界集Ohm  具有平滑边界的RDSOhm 并表示OhmT=（0，T）×Ohm 和OhmT=（0，T）×Ohm. 在这一小节中，我们考虑以下形式的拟线性抛物型偏微分方程tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））=0，对于（t，x）∈ OhmTu（0，x）=u（x），对于x∈ Ohmu（t，x）=g（t，x），对于（t，x）∈ OhmT（7.2）为了便于记法，我们将（7.2）的运算符写为G。

也就是说，让我们表示[u]（t，x）=tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））。注意，我们可以写eg[u]（t，x）=tu（t，x）-dXi，j=1αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）+^γ（t，x，u（t，x），u（t，x）），其中^γ（t，x，u，p）=γ（t，x，u，p）-dXi=1αi（t，x，u，p）u秀-dXi=1αi（t，x，u，p）xi在本节中，我们考虑具有经典解的（7.2）型方程。特别地，我们假设存在唯一的u（t，x）解（7.2），使得u（t，x）∈ C（“”OhmT） \\ C1+η/2,2+η(OhmT） 带η∈ （0，1）和sup（t，x）∈OhmTXk=1|（k） xu（t，x）|<∞. （7.3）我们请感兴趣的读者参考[28]第五章的定理5.4、6.1和6.2，了解保证上述陈述有效性的α、γ的具体一般条件。在[11，25，26]中的各种假设下，得到了单函数及其导数的普遍近似结果。在本文中，我们使用了文献[26]中的定理3。让我们回顾一下为我们感兴趣的案例而适当修改的设置。设ψ为隐藏单元的激活函数，如sigmoid型，并定义setCn（ψ）=ζ（t，x）：R1+d7→ R：ζ（t，x）=nXi=1βiψα1，it+dXj=1αj，ixj+cj. （7.4）式中θ=（β，···，βn，α1,1，··，αd，n，c，c，··，cn）∈ R2n+n（1+d）构成参数空间的元素。然后我们得到以下结果。定理7.1。设Cn（ψ）由（7.4）给出，其中ψ假设在C（Rd）中，有界且非常数。集合C（ψ）=Sn≥1Cn（ψ）。假设Ohm它是紧凑的，并考虑支持包含在中的度量ν、ν、νOhmTOhm 和Ohmt分别。此外，假设PDE（7.2）具有唯一的classicalsolution，因此（7.3）适用。此外，假设非线性项αi（t，x，u，p）pjand^γ（t，x，u，p）是（u，p）中的局部Lipschitz，Lipschitz常数在u和p上最多可以有多项式增长，与t，x一致。

那么 > 0，存在一个正常数K>0，该常数可能取决于上OhmT | u |，supOhmT型|xu |和supOhmT型|（2） xu |存在一个函数f∈ C（ψ）满足j（f）≤ K.这个定理的证明在附录中。7.2神经网络对偏微分方程解的收敛性我们现在证明，在更强的条件下，神经网络Fn对微分方程解u的收敛性tu（t，x）- div（α（t，x，u（t，x），u（t，x））+γ（t，x，u（t，x），u（t，x））=0，对于（t，x）∈ OhmTu（0，x）=u（x），对于x∈ Ohmu（t，x）=0，对于（t，x）∈ OhmT、 （7.5）作为n→ ∞. 请注意，我们将讨论限制在齐次边界数据上。我们这样做是出于演示和数学原因。目标函数isJ（f）=kG[f]k2，OhmT+kfk2，OhmT+kf（0，·）- uk2，Ohm回想一下，上述规范是各自空间X=OhmTOhm坦德Ohm 分别地根据定理7.1，我们得到了thatJ（fn）→ 0作为n→ ∞.每个神经网络fn满足PDEG[fn]（t，x）=hn（t，x），对于（t，x）∈ OhmTfn（0，x）=un（x），对于x∈ Ohmfn（t，x）=gn（t，x），对于（t，x）∈ OhmT（7.6）对于某些hn、un和GN，例如KHNK2，OhmT+kgnk2，OhmT+kun- uk2，Ohm→ 0作为n→ ∞. （7.7）就本节而言，我们作出以下一组假设。条件7.2.o存在常数u>0和正函数κ（t，x），λ（t，x），因此对于所有（t，x）∈OhmTwe-havekα（t，x，u，p）k≤ u（κ（t，x）+kpk）和|γ（t，x，u，p）|≤ λ（t，x）kpk，带κ∈ L(OhmT） ，λ∈ Ld+2+η(OhmT） 对于某些η>0。我们为（t，x）设置u（t，x）=0∈ OhmT、 例如，g=0，以避免因不均匀边界条件引起的某些技术难题。

如果g 6=0，使得g是一些适当光滑函数的迹，比如φ，那么可以减少上的非齐次边界条件Ohmt通过引入新函数u来代替u来实现齐次函数- φ、 有关此类考虑的详细信息，请参见【28】第五章第4节或【20】第8章。我们在这里不探讨这一点，因为我们的目标不是证明最一般的结果，而是提供一个具体的设置，在其中我们可以证明感兴趣的近似结果的有效性α（t，x，u，p）和γ（t，x，u，p）在（t，x，u，p）中是Lipschitz连续的∈ Ohm形式{（T，x）的紧上的T×R×rd一致∈OhmT、 | u |≤ C、 | p |≤ C} .oα（t，x，u，p）相对于（x，u，p）具有连续导数是可微分的存在一个正常数ν>0，使得α（t，x，u，p）p≥ ν| p |和hα（t，x，u，p）- α（t，x，u，p），p- pi>0，对于每个p，p∈ Rd，p6=p.ou（x）∈ C0,2+ξ（“”Ohm) 对于某些ξ>0且其自身及其一阶导数在‘’内的情况Ohm.o Ohm 是Rdwith boundary的有界开放子集Ohm ∈ C、 o每n∈ N、 fn公司∈ C1,2（“”OhmT） 。此外，（fn）n∈N∈ L(OhmT） 。定理7.3。假设条件7.2和（7.7）保持不变。然后，问题（7.5）在C0，δ，δ/2（“”）中有唯一的有界解OhmT）∩ L0，T；W1,2(Ohm)∩W（1,2），2(OhmT） 对于某些δ>0和任何内部子域Ohm飞行时间OhmT、 此外，fn在Lρ中强收敛到（7.5）的唯一解u(OhmT） 对于每ρ<2。此外，如果序列{fn（t，x）}n∈Nis在n上一致有界且等连续，则收敛到u在OhmT、 这个定理的证明在附录中。我们用一些备注和一个示例来结束本节。备注7.4。尽管对零边界数据的情况有限制，但我们确实希望我们的结果对于相当平滑的非均匀边界数据也是有效的。

此外，如果我们进一步假设非线性α（t，x，u，p）和γ（t，x，u，p）以及初始数据u（x），则可以确定经典解的存在性和唯一性，详情参见[28]第五章第6节示例。事实上，文献[28]第V.6章的结果表明，如果稍微假设非线性函数α（t，x，u，p）导数的增长，γ（t，x，u，p）将导致徐∈ C0，δ，δ/2(OhmT） 对于某些δ>0。此外，我们在此指出，如果已知关于给定近似族{fn}的更多性质，例如适当Sobolev范数的先验界，则可以提出更有力的主张，但我们在此不作进一步探讨。备注7.5。序列{fn}n的统一，in n，Lbound∈对于有界神经网络近似序列fn（t，x），Nis很容易满足。然而，我们认为，对于更广泛的一类模型来说，这是正确的，毕竟，如果fn确实在ρ<2时在Lρ中收敛，那么我们期望这是正确的。关于{fn（t，x）}的等连续性条件既简化了证明，又提出了更有力的主张。然而，这只是一个有效的条件，没有必要。本文[8]见其中的定理19和20，讨论了可施加在前馈神经网络未知权重上的结构限制（先验有界性和可和性），该网络属于C（ψ）=Sn类≥如（7.4）所定义的1Cn（ψ），它保证了神经网络对于连续函数和有界函数的准连续性和通用逼近特性。正如[8]中所讨论的，等连续性还与神经网络的容错特性有关，这是一个值得在偏微分方程背景下进一步研究的课题。

然而，我们在此不进一步讨论这一点，因为这将是一篇不同论文的主题。让我们在下面的示例7.6中展示线性抛物线偏微分方程的情况。通常，H¨older空间C0，ξ（“”Ohm) 是‘’中连续函数的Banach空间Ohm 在‘’中具有高达[ξ]阶的连续导数Ohm 具有有限对应的一致范数和有限一致ξ- [ξ] H–旧标准。类似地，我们还定义了H¨older空间C0，ξ，ξ/2（“”OhmT） 此外，还有定义[ξ]/2和（ξ- [ξ] ）/2分别为时间上的正则和H¨older导数范数。这些空间用Hξ（“”）表示Ohm) 和Hξ，ξ/2（“”OhmT） 分别在[28]中。这里是W（1,2），2(OhmT） 表示Banach空间，它是C的闭包∞(OhmT） 包含来自L的元素(OhmT） 用r，s推广形式为drtdsx的导数，使得2r+s≤ 2使用通常的Sobolev标准。例7.6（线性情况）。假设算子G在u中是线性的，并且u、 特别地，让我们设置αi（t，x，u，p）=nXj=1σσTi、 j（t，x）pj，i=1，···dandγ（t，x，u，p）=-hb（t，x），pi+dXi，j=1xiσσTi、 j（t，x）pj- c（t，x）u。假设存在正常数ν，u>0，使得对于每ξ∈ Rdthe矩阵σσTi、 j（t，x）idi，j=1满意度ν|ξ|≤dXi，j=1σσTi、 j（t，x）ξiξj≤ uξ，系数b和c为dXi=1biq、 r，OhmT+kckq，r，OhmT≤ u，对于我们回忆起的某些u>0，例如kckq，r，OhmT型=RT公司ROhm|c（t，x）| qdxr/q1/r，q满足关系r+d2q=1q∈ （d/2，∞], r∈ [1, ∞), 对于d≥ 2，q∈ [1, ∞], r∈ [1，2]，对于d=1。特别是，在系数b和c以OhmT

在这些条件下，线性偏微分方程的标准结果，如相关结果参见第IIIof【28】章定理4.5，表明类似于定理7.3的近似结果成立。8结论我们相信深度学习可以成为解决高维偏微分方程的一种有价值的方法，而高维偏微分方程在物理、工程和金融领域非常重要。PDE解可以用深度神经网络近似，该网络经过训练以满足微分算子、初始条件和边界条件。我们证明了随着隐单元数的增加，神经网络收敛于偏微分方程的解。我们求解偏微分方程的深度学习算法是无网格的，这是关键，因为网格在更高的维度上变得不可行。神经网络不是形成网格，而是在一批随机采样的时间和空间点上进行训练。该方法适用于一类200维以上的高维自由边界偏微分方程，结果准确。我们还用高维Hamilton-Jacobi-BellmanPDE对其进行了测试，得到了准确的结果。DGM算法可以很容易地修改，以适用于双曲、椭圆和部分积分微分方程。对于这些其他类型的偏微分方程，算法基本上保持不变。然而，这些其他类型的偏微分方程的数值性能仍有待研究。将第4、5和6节中的数值结果放在适当的上下文中也很重要。具有高度非单调或振荡解的偏微分方程可能更具挑战性，需要在体系结构中进一步开发。因此，需要进一步的数值开发和测试，以更好地判断深度学习对于其他应用中偏微分方程解的有用性。