DGM：一种求解偏微分方程的深度学习算法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《DGM: A deep learning algorithm for solving partial differential
  equations》
---
作者：
Justin Sirignano and Konstantinos Spiliopoulos
---
最新提交年份：
2018
---
英文摘要：
  High-dimensional PDEs have been a longstanding computational challenge. We propose to solve high-dimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to $200$ dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers\' equation. The deep learning algorithm approximates the general solution to the Burgers\' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a \"Deep Galerkin Method (DGM)\" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.
---
中文摘要：
高维偏微分方程一直是一个长期的计算挑战。我们建议通过使用深层神经网络逼近解来求解高维偏微分方程，该网络经过训练以满足微分算子、初始条件和边界条件。我们的算法是无网格的，这是关键，因为网格在高维中变得不可行。神经网络不是形成网格，而是在一批随机采样的时间和空间点上进行训练。该算法在一类高维自由边界偏微分方程上进行了测试，我们能够在高达200美元的维度上精确求解。该算法也在高维Hamilton-Jacobi-Bellman偏微分方程和Burgers方程上进行了测试。深度学习算法近似于不同边界条件和物理条件（可视为高维空间）的连续统的Burgers方程的一般解。我们将该算法称为“深伽辽金方法（DGM）”，因为它与伽辽金方法在精神上相似，其解由神经网络近似，而不是基函数的线性组合。此外，我们还证明了一类拟线性抛物型偏微分方程的神经网络逼近能力定理。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Mathematical Finance        数学金融学
分类描述：Mathematical and analytical methods of finance, including stochastic, probabilistic and functional analysis, algebraic, geometric and other methods
金融的数学和分析方法，包括随机、概率和泛函分析、代数、几何和其他方法
--
一级分类：Mathematics        数学
二级分类：Numerical Analysis        数值分析
分类描述：Numerical algorithms for problems in analysis and algebra, scientific computation
分析和代数问题的数值算法，科学计算
--
一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> DGM:_A_deep_learning_algorithm_for_solving_partial_differential_equations.pdf (6.01 MB)

2022-6-1 06:43:08 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：偏微分方程 学习算法 微分方程 深度学习 DGM

DGM：求解部分微分方程的深度学习算法Justin Sirignano*和Konstantinos Spiliopoulos+§2018年9月7日摘要高维偏微分方程一直是一个长期的计算挑战。我们建议通过使用深度神经网络逼近解来求解高维偏微分方程，该网络经过训练以满足微分算子、初始条件和边界条件。我们的算法是无网格的，这是关键，因为网格在高维中变得不可行。神经网络不是形成网格，而是在一批随机采样的时间和空间点上进行训练。该算法在一类高维自由边界偏微分方程上进行了测试，我们能够在高达200维的情况下精确求解。该算法也在高维Hamilton-Jacobi-Bellman偏微分方程和Burgers方程上进行了测试。深度学习算法近似于不同边界条件和物理条件（可以视为高维空间）的连续统一体的Burgers方程的一般解。我们将该算法称为“深伽辽金方法（DGM）”，因为它在精神上与伽辽金方法相似，其解由神经网络近似，而不是基本函数的线性组合。此外，我们还证明了一个关于神经网络对一类拟线性抛物型偏微分方程逼近能力的定理。1深度学习和高维PDE高维偏微分方程（PDE）用于物理、工程和金融领域。他们的数字解决方案一直是一个长期的挑战。由于网格点数量的激增和时间步长的减少，有限差分方法在高维中变得不可行。如果有d个空间维度和1个时间维度，则网格的大小为Od+1。

当维数d变得甚至中等大时，这很快就变得难以计算。我们建议使用无网格深度学习算法求解高维偏微分方程。该方法在精神上与伽辽金方法相似，但使用机器学习的思想进行了一些关键更改。伽辽金方法是一种广泛使用的计算方法，它寻求作为基函数线性组合的偏微分方程的简化形式解。深度学习算法，或“深度伽辽金方法”（DGM），使用深度神经网络，而不是基函数的线性组合。使用随机梯度下降法在随机采样的空间点上训练深层神经网络，以满足微分算子、初始条件和边界条件。通过随机采样空间点，我们避免了需要形成网格（在高维中不可行），而是将PDE问题转化为机器学习问题。DGM是Galerkin方法和机器学习的自然融合。该算法原则上是traightforward；见第2节。第4节后面给出了一类有希望的数值结果*伊利诺伊大学香槟分校，Urbana，电子邮件：jasirign@illinois.edu+波士顿大学数学与统计系，波士顿，电子邮件：kspiliop@math.bu.edu作者感谢JP Morgan机器学习和人工智能论坛研讨会、帝国理工学院伦敦应用数学和数学物理研讨会、科罗拉多大学博尔德分校、普林斯顿大学和西北大学应用数学系的与会者的评论。作者还想感谢2017年INFORMS应用概率会议、2017年希腊随机学会议和2018年暹罗年会的与会者的意见。§K.S.研究。

部分由国家科学基金会（DMS 1550918）资助。本文的计算是使用Blue Waters超级计算机授予的“神经网络分布式学习”进行的。高维自由边界偏微分方程。我们还精确地求解了第5节中的高维Hamilton-JacobiBellman偏微分方程和第6节中的Burger方程。DGM将有限差分的计算成本转换为一种更方便的形式：不再是Od+1的巨大网格（无法处理），而是生成许多批次的随机空间点。虽然空间点的总数可能很大，但该算法可以在不影响收敛速度的情况下顺序处理空间点。深度学习已经彻底改变了图像、文本和语音识别等领域。这些领域需要能够对高维输入的非线性函数建模的统计方法。深层学习，即多层神经网络（即“深层神经网络”），在实践中证明对此类任务非常有效。多层神经网络本质上是一个非线性操作的“堆栈”，其中每个操作由必须根据数据估计的特定参数描述。实践中的性能在很大程度上取决于所使用的神经网络体系结构和训练算法的特定形式。神经网络结构和训练方法的设计在过去十年中一直是深入研究的重点。鉴于深度学习的成功，人们也越来越有兴趣将其应用于科学和工程的其他领域（一些例子见第1.2节）。评估深度学习算法的准确性并不简单。具有半解析解的偏微分方程可能没有足够的挑战性。

（毕竟，半解析解是存在的，因为PDECA可以转换为低维方程。）它无法与传统的差异（在高维度上失败）进行基准测试。我们在一类高维自由边界偏微分方程上测试了深度学习算法，这类偏微分方程的特殊性质是可以计算任何近似解的误差界。这为在无半解析解的高维偏微分方程组上评估深度学习算法的准确性提供了一个独特的机会。这类高维自由边界偏微分方程在金融领域也有重要的应用，在金融领域，它用来为美式期权定价。美式期权是股票投资组合的金融衍生品。PDE中的空间维度数量等于投资组合中的股票数量。金融机构对几十种甚至数百种股票的投资组合的期权定价很感兴趣[43]。因此，非常需要数值方法来精确求解高维自由边界偏微分方程。我们还在高维Hamilton-Jacobi-Bellman偏微分方程上测试了深度学习算法，得到了准确的结果。我们考虑一个高维Hamilton-Jacobi-Bellman偏微分方程，其动机是对一个随机热方程进行最优控制。最后，在一系列问题设置（例如，不同的物理条件和边界条件）上找到PDE的解决方案通常很有意义。例如，这可能有助于工程系统的设计或不确定性量化。问题设置空间可能是高维的，因此可能需要为许多不同的问题设置解决许多偏微分方程，这可能在计算上很昂贵。

我们使用我们的深度学习算法来近似不同边界条件、初始条件和物理条件下Burgers方程的一般解。在导言的其余部分，我们概述了我们关于拟线性抛物型偏微分方程的神经网络逼近能力的结果（第1.1节），以及相关文献（第1.2节）。第2节介绍了求解偏微分方程的深度学习算法。第3节制定了一个评估扩散算子的有效方案。第4、5和6节介绍了该算法的数值分析。我们在高达200维的一类高维自由边界偏微分方程上实现并测试了该算法。第7节介绍了用神经网络逼近偏微分方程解的定理和证明。结论见第8节。为了便于阅读，附录A.1.1中收集了第7节的证明。我们还证明了一个关于一类拟线性抛物型偏微分方程的神经网络逼近能力的定理。考虑潜在的非线性偏微分方程tu（t，x）+Lu（t，x）=0，（t，x）∈ [0，T]×Ohmu（0，x）=u（x），x∈ Ohmu（t，x）=g（t，x），x∈ [0，T]×Ohm, （1.1）其中Ohm 是域的边界Ohm. 解u（t，x）当然是未知的，但可以通过最小化LerrorJ（f）=k来找到近似解f（t，xtf+Lfk2，[0，T]×Ohm+ kf公司- gk2，[0，T]×Ohm+ kf（0，·）- uk2，Ohm.误差函数J（f）衡量近似解f满足微分算子、边界条件和初始条件的程度。注意，假设不知道实际解u；J（f）可以直接从任何近似f的PDE（1.1）计算得出。目标是构造J（f）尽可能接近0的函数SF。

将CNA定义为一类具有单个隐藏层和n个隐藏单元的神经网络。设fn是一个具有n个隐单元的神经网络，使J（f）最小化。我们证明，在一定条件下，存在fn∈ cnj（fn）→ 0，作为n→ ∞, 和fn→ u为n→ ∞,强in，Lρ（[0，T]×Ohm), ρ<2，对于一类拟线性抛物型偏微分方程；具体说明见第7.2小节和第7.3款。也就是说，当隐单元数趋于完整时，神经网络将在Lρ，ρ<2收敛到偏微分方程的解。第7节给出了理论要求及其证明的精确陈述。证明需要对神经网络的逼近能力以及偏微分方程的连续性进行联合分析。注意J（fn）→ 0不一定意味着fn→ u、 假设我们只能控制近似误差。首先，我们证明了J（fn）→ 0作为n→ ∞. 然后我们建立每个神经网络{fn}∞n=1带有源项hn（t，x）的统计数据。在一定条件下，我们可以证明fn的收敛性→ u为n→ ∞ 在Lρ（[0，T]×中Ohm), 对于ρ<2，使用神经网络逼近的光滑性和紧致性参数。定理7.3建立了求解偏微分方程（至少在一类拟线性抛物型偏微分方程中）的神经网络的逼近能力；然而，直接最小化J（f）在计算上并不容易，因为它涉及高维积分。DGM算法使用无网格方法最小化J（f）；参见第2.1.2节相关文献使用神经网络近似求解偏微分方程是一个自然的想法，之前被认为是不变形式。【29】、【30】、【46】、【31】和【35】建议使用神经网络来解决偏微分方程和微分方程。这些论文在先验固定网格上估计神经网络解。

本文提出使用深度神经网络，并且是无网格的，这是解决高维偏微分方程的关键。特别是，本文探讨了一些新的创新。首先，我们关注高维偏微分方程，并将过去十年的深度学习进展应用于该问题（深度神经网络代替浅层神经网络，改进神经网络优化方法等）。开发、高效实现并测试了高维自由边界偏微分方程的算法。特别是，我们开发了一种迭代方法来处理自由边界。其次，为了避免形成网格，我们对一系列随机空间点进行采样。这就产生了一种无网格方法，这对于高维偏微分方程至关重要。第三，该算法结合了一种新的计算方案，用于高效计算由高维偏微分方程二阶导数产生的神经网络梯度。最近，[41，42]开发了以物理为基础的深度学习模型。他们估计深度神经网络模型，该模型将数据观测值与PDE模型相结合。这允许利用物理动力学应服从一类偏微分方程的先验知识，从有限的数据中估计物理模型。他们的方法使用深度神经网络在一维和二维空间中求解偏微分方程。[32]使用深度神经网络对雷诺平均Navier-Stokes（RANS）模型中的雷诺应力进行建模。RANS是流体动力学中湍流的降阶模型。

[15，2]最近还开发了一种模式，用于求解一类拟线性偏微分方程，该类偏微分方程可以表示为具有单个隐层的前向-后向随机微分神经网络，n个隐单元是Cn=nh（t，x）：R1+d7形式的函数→ R:h（t，x）=Pni=1βiψα1，it+Pdj=1αj，ixj+cjowhereψ：R→ R是一个非线性“激活”函数，如sigmoid或tanh函数。方程（FBSDEs）和[16]进一步发展了该算法。[15，2，16]中开发的算法专注于计算单点PDE解的值。我们在这里介绍的算法是不同的；特别是，它不依赖于FBSDE表示的可用性，而是在所有时间和空间上生成PDE的整个解决方案。此外，我们使用的深层神经网络架构（与[15，2]中使用的架构不同）似乎能够准确地恢复整个解决方案（至少对于我们研究的方程）。【49】使用卷积神经网络来求解Navier-Stokes偏微分方程数值解所需的大型稀疏线性系统。此外，[9]最近开发了一种新的偏微分方程方法来优化深层神经网络。【33】开发了一种算法，用于求解一类自由边界偏微分方程的离散时间版本。他们的算法通常被称为“Longstaff-Schwartz方法”，使用动态规划，并在每个离散时间使用单独的函数近似器（通常是基函数的线性组合）来近似解。我们的算法直接求解偏微分方程，并对所有空间和所有时间使用单函数逼近器。[45]、[23]和其他人对Longstaff-Schwartz算法进行了进一步分析。

稀疏网格方法也被用于求解高维偏微分方程；参见【43】、【44】、【22】、【6】和【7】。关于神经网络逼近能力的一般结果，我们将感兴趣的读者引向经典著作【11、25、26、39】，我们还提到了【38】最近的工作，其中作者研究了在均方意义下逼近分类函数所需的ReLU神经网络的必要和有效复杂性。2算法考虑具有d空间维度的抛物线PDE：ut（t，x）+Lu（t，x）=0，（t，x）∈ [0，T]×Ohm,u（t=0，x）=u（x），u（t，x）=g（t，x），x∈ Ohm, （2.1）其中x∈ Ohm  DGM算法用深度神经网络f（t，x；θ）逼近u（t，x），其中θ∈ RK是神经网络的参数。请注意，微分运算符ft（t，x；θ）和Lf（t，x；θ）可以解析计算。构建目标函数：J（f）=ft（t，x；θ）+Lf（t，x；θ）[0，T]×Ohm,ν+kf（t，x；θ）- g（t，x）k[0，t]×Ohm,ν+kf（0，x；θ）- u（x）kOhm,ν.这里，kf（y）kY，ν=RY | f（y）|ν（y）dy，其中ν（y）是y上的正概率密度∈ Y、 J（f）衡量函数f（t，x；θ）满足PDE微分算子、边界条件和初始条件的程度。如果J（f）=0，则f（t，x；θ）是偏微分方程（2.1）的解。目标是找到一组参数θ，以便函数f（t，x；θ）将误差J（f）最小化。如果误差J（f）很小，则f（t，x；θ）将严格满足PDE微分算子、边界条件和初始条件。因此，使J（f（·；θ））最小化的θ产生简化形式的模型f（t，x；θ），该模型近似于偏微分方程解u（t，x）。由于积分覆盖，当维数d较大时，直接最小化J（f）估计θ是不可行的Ohm 在计算上很难处理。