DGM：一种求解偏微分方程的深度学习算法

然而，本文的数值结果表明，有充分的证据可以进一步探索解决偏微分方程的深层神经网络方法。此外，对于本文所考虑的拟线性抛物型偏微分方程类以外的偏微分方程，建立类似于定理7.3的结果也很有意义。用于求解偏微分方程的深度学习和机器学习算法的稳定性分析也是一个重要问题。研究使用所涉及偏微分方程更直接的变分公式的机器学习算法肯定会很有趣。我们把这些问题留到以后的工作中去。收敛结果的证明在这一节中，我们收集了第7节理论结果的证明。定理7.1的证明。根据[26]的定理3，我们知道有一个函数f∈ C（ψ）等于uniformly2-在C（R1+d）的压实体上密实。这意味着对于u∈ C1,2（[0，T]×Rd）和 > 0，有f∈ C（ψ）使得sup（t，x）∈OhmT型|tu（t，x）- tf（t，x；θ）|+最大值| a|≤2sup（t，x）∈OhmT型|（a） xu（t，x）- （a） xf（t，x；θ）|< （A.1）我们假设（u，p）7→ ^γ（t，x，u，p）在（u，p）中是局部Lipschitz连续的，Lipschitz常数在u和p中最多可以有多项式增长，与t，x一致。这意味着^γ（t，x，u，p）- ^γ（t，x，v，s）|≤|u | q/2+| p | q/2+| v | q/2+| s | q/2（| u）- v |+| p- s |）。对于某些常量0≤ q、 q，q，q<∞.

因此，我们使用指数为r，r，Z的H¨older不等式OhmT |^γ（T，x，f，xf）- γ（t，x，u，xu）| dν（t，x）≤≤ZOhmT（| f（T，x；θ）| q+|xf（t，x；θ）| q+| u（t，x）| q+|xu（t，x）| q）×|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|dν（t，x）≤ZOhmT（| f（T，x；θ）| q+|xf（t，x；θ）| q+| u（t，x）| q+|xu（t，x）| q）rdν（t，x）1/r×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|rdν（t，x）1/r≤ KZOhmT（| f（T，x；θ）- u（t，x）| q+|xf（t，x；θ）- xu（t，x）| q+| u（t，x）| q∨q+|xu（t，x）| q∨q） rdν（t，x）1/r×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|rdν（t，x）1/r≤ Kq+q+supOhmT | u | q∨q+supOhmT型|xu | q∨q（A.2）其中不重要常数K<∞ 可能会在每行和两个数字q之间发生变化∨ q=最大值{q，q}。在最后一步中，我们使用了（A.1）。此外，我们还假设对于每个i，j∈ {1，···d}，映射（u，p）7→αi（t，x，u，p）Pjis局部Lipschitz in（u，p），Lipschitz常数可以在u和p上有最多多项式增长，一致地关于t，x。这意味着αi（t，x，u，p）pj公司-αi（t，x，v，s）sj公司≤|u | q/2+| p | q/2+| v | q/2+| s | q/2（| u）- v |+| p- s |）。对于某些常量0≤ q、 q，q，q<∞.

为方便起见，表示ξ（t，x，u，uu） =dXi，j=1αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）。然后，类似于（A.2），我们在应用H¨older不等式之后，对于一些常数K<∞ 这可能会随着线的变化而变化，ZOhmTξ（t，x，f，xf，xf）- ξ（t，x，u，徐先生，徐）dν（t，x）≤≤ZOhmTdXi，j=1αi（t，x，f（t，x；θ），f（t，x；θ））fxj公司-αi（t，x，u（t，x），u（t，x））uxj公司xi，xju（t，x）dν（t，x）+ZOhmTdXi，j=1αi（t，x，f（t，x；θ），f（t，x；θ））fxj公司xi，xjf（t，x；θ）- xi，xju（t，x）dν（t，x）≤ KdXi，j=1ZOhmTxi，xju（t，x）2pdν（t，x）1/p××ZOhmTαi（t，x，f（t，x；θ），f（t，x；θ））fxj公司-αi（t，x，u（t，x），u（t，x））uxj公司2qdν（t，x）！1/q++KdXi，j=1ZOhmTαi（t，x，f，f）fxj公司2pdν（t，x）！1/pZOhmTxi，xjf（t，x；θ）- xi，xju（t，x）2qdν（t，x）1/季度≤ KdXi，j=1ZOhmTxi，xju（t，x）2pdν（t，x）1/p××ZOhmT（| f（T，x；θ）- u（t，x）| q+|xf（t，x；θ）- xu（t，x）| q+| u（t，x）| q∨q+|xu（t，x）| q∨q） qrdν（t，x）1/（qr）×ZOhmT|f（t，x；θ）- u（t，x）|+|xf（t，x；θ）- xu（t，x）|qrdν（t，x）1/（qr）+KdXi，j=1ZOhmTαi（t，x，f，f）fxj公司2pdν（t，x）！1/pZOhmTxi，xjf（t，x；θ）- xi，xju（t，x）2qdν（t，x）1/季度≤ K, （A.3）在最后一步中，我们遵循（A.2）中的计算并使用（A.1）。使用（A.1）和（A.2）-（A.3），我们随后获得了目标函数（注意，对于求解PDE的u，G[u]（t，x）=0）J（f）=kG[f]（t，x）kOhmT、 ν+kf（T，x；θ）- g（t，x）kOhmT、 ν+kf（0，x；θ）- u（x）kOhm,ν=千克【f】（t，x）- G[u]（t，x）kOhmT、 ν+kf（T，x；θ）- g（t，x）kOhmT、 ν+kf（0，x；θ）- u（x）kOhm,ν≤ZOhmT型|tu（t，x）- tf（t，x；θ）| dν（t，x）+ZOhmTξ（t，x，f，ff）- ξ（t，x，u，uu）dν（t，x）+ZOhmT |γ（T，x，f，xf）- γ（t，x，u，xu）| dν（t，x）+ZOhmT | f（T，x；θ）- u（t，x）| dν（t，x）++ZOhm|f（0，x；θ）- u（0，x）| dν（t，x）≤ K对于适当的常数K<∞. 最后一步完成了重新缩放后定理的证明.定理7.3的证明。

（7.5）的存在性、正则性和唯一性来源于定理2.1【40】和第V.6章的定理6.3-6.5【28】（另见第V.6章的定理6.6】）。有界性源于【40】中的定理2.1和【28】中的第V.2章。收敛性证明之后是神经网络的光滑性以及紧致性参数，如下所述。让我们首先考虑gn（t，x）=0的问题（7.6），并用^fn（t，x）表示该问题的解决方案。根据条件7.2，【40】中的引理4.1适用，并给出{fn}n∈Nis至少在L中与n一致有界∞0，T；L(Ohm)∩L0，T；W1,2(Ohm)（关于这种均匀能量边界结果，对于γ=0的情况，我们也请读者参考定理2.1和[5]的备注2.14，对于更一般的情况，请参考[34，37]的相关结果）。事实上，^fn比所述的更规则，见[28]第五章第6节，但我们不会在^fnto u的收敛证明中使用这一事实。这些一致能量边界意味着我们可以提取一个子序列，也用{fn}n表示∈N、 在L中收敛到弱意义上的someu∞0，T；L(Ohm)在L中较弱0，T；W1,2(Ohm)对于L中的一些弱v(Ohm)对于每个固定的t∈ （0，T）。接下来让我们设置q=1+dd+4∈ （1，2）注意，对于共轭，r，r>1，使得1/r+1/r=1ZOhmTγ（t，x，^fn，x^fn）qdtdx≤ZOhmT |λ（T，x）| q|x^fn（t，x）| qdtdx≤ZOhmT |λ（T，x）| rqdtdx1/rZOhmT型|x^fn（t，x）| rqdtdx1/r.（A.4）让我们选择r=2/q>1。然后我们计算r=rr-1=2-q

因此，我们得到了rq=d+2。回顾假设λ∈ Ld+2(OhmT） 制服绑在x^fn我们随后得出，对于q=1+dd+4，存在常数C<∞ 这样的话OhmTγ（t，x，^fn，x^fn）qdtdx≤ C、 后一种估计以及条件7.2中关于α（·）的增长假设，意味着{t^fn}n∈Nis在L1+d/（d+4）中关于n一致有界(OhmT） 在L（0，T；W）中-1,2(Ohm)). 考虑共轭1/δ+1/δ=1，δ>max{2，d}。由于嵌入W-1,2(Ohm)  W-1,δ(Ohm), Lq公司(Ohm)  W-1,δ(Ohm), 和L(Ohm)  W-1,δ(Ohm),我们有{t^fn}n∈Nis关于L（0，T；W）中的n一致有界-1,δ(Ohm)). 现在确定空间X=W1,2(Ohm), B=L(Ohm) Y=W-1,δ(Ohm), 注意，X B Y第一次嵌入紧凑。然后，[48]的推论4得到{fn}n的相对紧性∈Nin L公司(OhmT） ，这意味着{fn}n∈在该空间中，nConvergence与u非常接近。因此，直到子序列，{fn}n∈nConverge几乎无处不在OhmT、 α和γ函数相对于梯度的非线性阻止我们直接通过各自弱公式中的极限。然而{fn}n的一致有界性∈NinLσ0，T；W1，σ(Ohm)当σ>1（实际上这里σ=2）且在该空间中弱收敛于u时，允许我们得出结论，如[4]的定理3.3所示^fn→ u几乎无处不在OhmT、 因此，我们得到{fn}n∈n在Lρ中也强收敛到u0，T；W1，ρ(Ohm)对于每ρ<2。准备以n的形式通过限制→ ∞ 在弱公式中，我们需要研究非线性项的行为。

回顾我们对ρ<2和可测集a的α（t，x，u，p）的假设 OhmT（常数K<∞ 可能会因生产线而异）ZAα（t，x，^fn，^fn）ρdtdx≤ KZA |κ（t，x）|ρdtdx+ZA|^fn（t，x）|ρdtdx≤ K“ZA |κ（t，x）|ρdtdx+ZOhmT型|^fn（t，x）| dtdxρ/2 | A | 1-ρ/2#≤ KZA |κ（t，x）|ρdtdx+| A | 1-ρ/2.在后一种显示中，我们使用了指数为2/ρ>1的H¨oder不等式。根据维塔利定理，我们得出α（t，x，^fn，^fn）→ α（t，x，u，u） Lρ中的强(OhmT） 作为n→ ∞, 每1<ρ<2。出于同样的原因，与（A.4）类似的估计给出了γ（t，x，^fn，x^fn）qdtdx≤ KZA |λ（t，x）| d+2dtdx(2-q） /2个≤ K | A |ηd+2+η，通过Vitali定理，意味着γ（t，x，^fn，^fn）→ γ（t，x，u，u） Lq中的强(OhmT） 作为n→ ∞, 对于q=1+dd+4。还要注意的是，通过构造，我们得到了初始条件在L中无法转化为U(Ohm).gn=0的PDE（7.6）弱公式如下所示。每t∈ （0，T）ZOhmth公司-^fntφ+Dα（t，x，^fn，^fn），φE+（γ（t，x，^fn，^fn）- hn）φi（t，x）dxdt+ZOhm^fn（t，x）φ（t，x）dx-ZOhm对于每个φ，un（x）φ（0，x）dx=0∈ C∞(OhmT） 。利用上述收敛结果，我们得出每个t∈ （0，T）方程ZOhmt型[-utφ+hα（t，x，u，u） ，则，φi+γ（t，x，u，u） φ]（t，x）dxdt+ZOhmu（t，x）φ（t，x）dx-ZOhmu（x）φ（0，x）dx=0，这是方程（7.5）的弱公式。fn的收敛性还有待讨论-^fnto零，其中我们记得fn是满足（7.6）和满足（7.6）的神经网络近似值，gn=0。功能fn∈ C1,2（“”OhmT） 和‘OhmTiscompact。我们还假设{fn}在L中一致有界(OhmT） 。这意味着，直到A序列，FN将在L中至少弱收敛(OhmT） 。

此外，在光滑边界处计算的边界值gn（t，x）（这不是fn（t，x）的其他值OhmT） 在（7.6）中，在L中强烈收敛到零。然后，标准结果是gn，即在边界处评估的Fn，至少几乎沿子序列一致地收敛到零，参见[28]第二章中的引理2.1。如下所示，例如，通过证明[28]中第V.6章的定理6.3-6.4-6.5，使用光滑性和唯一性，fn将与PDE（7.6）的解（gn=0，^fn（t，x））的差别可以忽略不计，如n→ ∞ 在几乎无处不在的意义上。{fn}n的假定一致Lbound∈穿着之前被嘲笑的制服(OhmT） 为{fn}n绑定∈尼菲尔德制服L(OhmT） {fn的有界性-^fn}n∈N、 然后，再次通过Vitali\'stheorem，我们得到{fn-^fn}n∈Lρ中的Ngoes强为零(OhmT） 对于每ρ<2。先前导出的{fn的强收敛性-^fn}n∈Nto零（Lρ）(OhmT） 对于每ρ<2，与强L(OhmT） {fn}n的收敛性∈Nto u，总结Lρ收敛性的证明(OhmT） 用三角形不等式求ρ<2。如果{fn（t，x）}是等连续的，那么[17]的引理3.2给出了GN到零的一致收敛性。因此，根据前面的分析，确实{fn}n∈N在Lρ中收敛到u(OhmT） 对于每ρ<2。由于著名的Arzel\'a-Ascoli定理，Lρ收敛到零以及序列{fn（t，x）}的有界性和等连续性导致一致收敛。参考文献[1]S.Asmussen和P.Glynn，《随机模拟：算法与分析》，Springer，2007年。[2] C.贝克，W.E.，A.詹森。高维全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，arXiv:1709.059632017。[3] D.Bertsekas和J。

Tsitsiklis，《通过误差的梯度方法中的梯度收敛》，暹罗优化杂志，第10卷，第3期，pgs。627-642, 2000.[4] L.Boccardo、A.Dall\'Aglio、T.Gallou¨et和L.Orsina，《带被测数据的非线性抛物方程》，泛函分析杂志，第147卷，第237-258页，（1997年）。[5] L.Boccardo、M.M.Porzio和A.Primo，《非线性抛物方程的可和性和存在性结果》，《非线性分析：理论、方法和应用》，第71卷，第304期，第1-15页，2009年。[6] H.Bungartz、A.Heinecke、D.P Fluger和S.Schraufstetter，《采用直接自适应sparsegrid方法的期权定价》，《计算与应用数学杂志》，第236卷，第15期，pgs。3741-3750,2012.[7] H.Bungartz和M Griebel，《稀疏网格》，《数字学报》，第13卷，pgs。174-269, 2004.[8] P.Chandra和Y.Singh，《前馈sigmoidal网络-等连续性和容错特性》，IEEE神经网络学报，第15卷，第6期，第1350-13662004页。[9] P.Chaudhari、A.Oberman、S.Osher、S.Soatto和G.Carlier。深度松弛：优化深度神经网络的部分微分方程，2017年。[10] S.Cerrai，《希尔伯特空间中的平稳Hamilton-Jacobi方程及其在随机最优控制问题中的应用》，《SIAM控制与优化杂志》，第40卷，第3期，pgs。824-852,2001.[11] G.Cybenko，《S形函数叠加近似》，《控制数学》，《信号与系统》，第2卷，第303-3141989页。[12] A.Davie和J.Gaines，《抛物型随机偏微分方程数值格式的收敛性》，《计算数学》，第70卷，第233期，pgs。121-134, 2000.[13] J.Dean、G.Corrado、R.Monga、K.Chen、M.Devin、M.Mao、A.Senior、P.Tucker、K.Yang、Q.Le、andA。Ng。大规模分布式深度网络。在神经信息处理系统的进展中，pp。

1223-1231, 2012.[14] A.Debusche、M.Fuhrman和G.Tessitor，《带边界噪声的随机热方程的最优控制和边界控制》，ESAIM：控制、优化和变分法，第13卷，第1期，pgs。178-205, 2007.[15] W.E.、J.Han和A.Jentzen。高维抛物偏微分方程和倒向随机微分方程的基于深度学习的数值方法，数学与统计通信，Springer，2017。[16] M.Fujii、A.Takahashi和M.Takahashi。高维BSDE深度学习方法中的渐近展开作为先验知识，arXiv:1710.070302017。[17] A.M.Garcia、E.Rodemich、H.Rumsey Jr.和M.Rosenblatt，《一个实变量引理和一些高斯过程的路径连续性》，印第安纳大学数学杂志，第20卷，第6期，第5655781970年12月。[18] X.Glorot和Y.Bengio。了解训练深度前馈神经网络的难度。《第十三届国际艺术情报与统计会议记录》，pp.249-256，2010年。[19] J.盖恩斯。SPDE的数值实验。伦敦数学学会讲座笔记系列，55-711995年。[20] D.Gilbarg和N.S.Trudinger。二阶椭圆偏微分方程，第二版。Springer Verlang，柏林海德堡，1983年。【21】I.Gy–ongy，《由时空白噪声驱动的随机拟线性抛物偏微分方程的晶格近似》，电势分析，第9卷，第1期，pgs。125, 1998.【22】A.Heinecke、S.Schraufstetter和H.Bungartz，《基于adaptivesparse网格的高度并行Black-Scholes解算器》，国际计算机数学杂志，第89卷，第9期，第页。1212-1238, 2012.【23】M.Haugh和L.Kogan，《美式期权定价：对偶方法》，《运筹学》，第52卷，第2期，pgs。258-270, 2004.【24】秒。

Hochreiter和J.Schmidhuber，《长-短期记忆，神经计算》，第9卷，第8期，pgs。1735-1780, 1997.【25】K.Hornik，M.Stinchcombe和H.White，《使用多层前馈网络对未知映射及其导数的通用近似》，神经网络，第3卷，第5期，第551-5601990页。【26】K.Hornik，《多层前馈网络的逼近能力》，神经网络，第4卷，第251-2571991页。[27]D.Kingma和J.Ba，ADAM：随机优化的一种方法。arXiv:1412.69802014。【28】O.A.Ladyzenskaja、V.A.Solonnikov和N.N.Ural\'ceva，《抛物线型线性和准线性方程》（数学专著再版译本），美国数学学会，第23卷，1988年。【29】I.Lagaris、A.Likas和D.Fotiadis，《用于求解普通和偏微分方程的人工神经网络》，IEEE神经网络学报，第9卷，第5期，pgs。987-1000, 1998.【30】I.Lagaris、A.Likas和D.Papageorgiou，《不规则边界边值问题的神经网络方法》，IEEE神经网络交易，第11卷，第5期，pgs。1041-1049, 2000.[31]H.Lee，《求解微分方程的神经算法》，《计算物理杂志》，第91卷，pgs。110-131, 1990.[32]J.Ling、A.Kurzawski和J.Templeton。使用具有嵌入不变性的深层神经网络进行雷诺平均湍流建模。《流体力学杂志》，第807卷，pgs。155-166, 2016.【33】F.Longstaff和E.Schwartz，《通过模拟评估美式期权：简单最小二乘法》，《金融研究评论》，第14卷，pgs。113-147, 2001.[34]M.Magliocca，具有排斥梯度项的Cauchy-Dirichlet抛物问题的存在性结果，非线性分析，第166卷，第102-1432018页[35]a.Malek和R。