求解非线性高维偏微分方程

这绝不是大量文献所致力于的主题的全面概述。更多详情请参见Borden等人（2001）、Achdou和Pironneau（2005）以及Brandimarte（2013）。3.1有限差分法通常情况下，微分方程无法解析求解，因此必须借助数值方法来求解。最流行的数值方法之一是有限差分法。顾名思义，该方法的主要思想是用差分算子逼近微分算子，并将其应用于微分方程中未知函数的离散化版本。3.1.1欧拉方法可以说，最简单的有限差分方法是常微分方程（ODE）的欧拉方法。假设我们有以下初值问题（y（t）=f（t）y（0）=yf，我们正试图解决函数y（t）的初值问题。通过泰勒级数展开，我们可以写出（t+h）=y（t）+y（t）1h+y（t）2！·对于任何不可微的实值函数y，h+···。如果h足够小，并且y的导数满足一些正则性条件，则阶次项的高阶项可以忽略，我们可以得到近似值y（t+h）≈ y（t）+y（t）·有一个旁注，请注意，我们可以重写这个方程asy（t）≈y（t+h）- y（t）h与衍生工具的定义非常相似；y（t）=limh→0年（t+h）- 返回到原始问题，注意我们知道y（t）的确切值，即f（t），所以我们可以写（t+h）≈ y（t）+f（t）·h。在这一点上，引入离散化模式的符号很有帮助，该模式通常用于有限差分方法。设{ti}为时间变量求和的值序列，使得t=0，ti+1=ti+h，{yi}为y（t）的近似序列，使得yi≈ y（ti）。

上面的表达式可以重写为asyi+1≈ yi+f（ti）·h，这允许我们找到y（ti+1）值的近似值≈ 彝语+1提升彝语的价值≈ y（ti）。使用Euler方法，我们可以找到y（t）的数值近似值，对于t>0.3.1.2的任何值，显式与隐式模式在上一节中，我们开发了一个简单初值问题的Euler方法。假设有一个稍微不同的问题，源项fis现在是t和y的函数。（y（t）=f（t，y）y（0）=a类似的参数现在将引导我们得到yi+1yi+1的表达式≈ yi+f（ti，yi）·h，其中yi+1明确表示为仅依赖于时间ti的项之和。像这样的方案称为显式方案。我们是否使用了近似值y（t- h）≈ y（t）- y（t）·hinstead，我们会得到稍微不同的表示yi+1yi+1的表达式≈ yi+f（ti+1，yi+1）·h，其中，术语yi+1出现在方程的两侧，一般来说，yi+1没有明确的公式。像这样的方案称为隐式。一般情况下，隐式方法中的每一步时间都需要使用根查找技术（如牛顿法或其他定点迭代方法）来解决上述yi+1表达式。尽管显式方法易于计算，但对于大量方程（尤其是所谓的刚性问题），显式方法通常在数值上不稳定，因此在大多数实际情况下无法使用。另一方面，隐式方法通常计算量更大，数值更稳定，这使得它们更常用。

有限差分法数值稳定性的一个重要度量是A-稳定性，其中测试（线性）测试方程y（t，y）=λy（t）（λ<0）的方法稳定性。虽然隐式Euler方法对于h>0和λ<0的所有值都是稳定的，但显式Euler方法仅在| 1+hλ|<1时是稳定的，如果λ的绝对值较高，则可能需要对h使用较小的值。当然，在所有其他条件相同的情况下，h的较小值是不可取的，因为这意味着需要更细的网格，这使得数值方法的计算成本更高。3.1.3偏微分方程的有限差分方法在上一节中，我们重点讨论了数值求解常微分方程的方法。然而，有限差分方法也可用于求解偏微分方程，上述概念也可应用于偏微分方程求解方法。考虑一维热方程的边界问题，该问题描述了长度为l的杆中的传热动力学：tu=α·xxuu（0，x）=u（x）u（t，0）=u（t，l）=0我们可以使用时间偏导数的前向差分算子和空间偏导数的二阶中心差分算子来近似上述方程中的微分算子。使用符号ui，j≈ u（ti，xj），当ti+1=ti+k和xj+1=xj+h时，我们可以将上述方程改写为线性方程sui+1，j的系统- ui，jk=αui，j-1.- 2ui，j+ui，j+1h,式中，i=1，2，N和j=1，2，N、 假设我们在两个维度上使用相同数量的离散点。在这个二维示例中，点（ti，xj）形成一个大小为O的二维网格N. 对于d维问题，大小为O的d维网格Nd公司将是必需的。实际上，网格的维数呈指数级增长，使得该方法无法管理，即使对于d=4。

这是有限差分法的一个重要缺点。xt（ti，xj）边界条件网格点XYT（ti，xj，yk）边界条件初始条件网格点图3.1：用于求解两（左）维和三（右）维偏微分方程的有限差分方法图解。边界上的已知函数值与有限差分相结合，以求解定义区域内部网格上的函数值。上面开发的方案称为前向差分法或FTCS（时间上的前向，空间上的中心）。很容易验证此方案是否明确，因为我们可以将ui+1、·项编写为先前计算的ui、·项的线性组合。使用此方法在一段时间内推进每个步骤所需的操作数应为ON. 不幸的是，如果h和k不满足不等式αkh，这个格式也是不稳定的≤.或者，我们可以使用以下等式应用后向差分法或BTCS（时间上向后，空间上居中）：ui+1，j- ui，jk=αui+1，j-1.- 2ui+1，j+ui+1，j+1h.此方案在时间上是隐式的，因为不可能将ui+1、·terms作为之前计算的ui、·terms的函数来编写。事实上，时间上的每一步都需要解O大小的线性方程组N. 使用此方法及时推进每个步骤所需的操作数为ON当使用高斯消去法等方法求解线性系统时。另一方面，该格式也被认为是无条件稳定的，与h和k.3.1.4高阶方法的值无关。所有用于求解偏微分方程的数值方法都因许多不精确源而存在误差。例如，舍入误差与实数的浮点表示有关。

另一类重要的误差是截断误差，它可以理解为由于泰勒级数展开截断而产生的误差。有限差分方法通常根据其各自的截断误差进行分类。迄今为止讨论的所有有限方法都是低阶方法。例如，Euler方法（包括显式方法和隐式方法）是一阶方法，这意味着全局截断误差与离散化粒度h成正比。然而，许多替代方法具有较低的截断误差。例如，Runge-Kutta四阶方法，其全局截断误差与h成正比，被广泛使用，是有限差分法家族中最著名的方法，甚至包括14阶方法。许多龙格库塔方法特别适合于解决刚性问题。3.2伽辽金方法在有限差分方法中，我们用离散差分算子近似连续微分算子，以获得满足偏微分方程的函数的数值近似值。函数的域（或其一部分）也必须离散化，以便可以在定义的时空网格点处计算解的数值近似值。此外，离网点上的函数值也可以通过插值等技术进行近似。伽辽金方法采用另一种方法：给定同一域上的一组有限的基函数，目标是找到基函数的线性组合，近似于感兴趣域上的偏微分方程的解。

这个问题转化为一个变分问题，人们试图找到泛函的最大值或最小值。更准确地说，假设我们试图求解方程F（x）=x的y，其中x和y分别是函数x和y的空间的成员，F:x→ Yis是一个（可能是非线性）函数。也假设{φi}∞i=1和{ψj}∞j=1 X和Y的近似独立基。根据伽辽金方法，x的近似值可以由xn=nXi=1αiφi给出，其中αi系数满足方程*FnXi=1αiφi！，ψj+=hy，ψji，对于j=1，2，n、 由于上述内积通常涉及非平凡积分，因此应仔细选择基，以确保方程更易于管理。3.3有限元方法有限元方法可以理解为伽辽金方法的特例。注意，在上述一般情况下，近似Xnma可能不适定，因为αimay的方程组可能没有解，或者可能有多个解，这取决于n的值。此外，根据φi和ψj的选择，Xnma可能不会收敛到x作为n→ ∞. 然而，可以将域离散在足够小的区域（称为元素）中，以便在每个区域中的近似都是局部满意的。为每个区域交点（以及问题定义给出的外部边界条件）添加边界一致性约束，并求解整个感兴趣域，可以为偏微分方程的解得出一个全局公平的数值近似值。在实践中，域通常被划分为三角形或四边形（二维情况）、四面体（三维情况）或更高维度的更一般几何形状，这一过程称为三角剖分。

φi和ψj的典型选择使得上述内积方程简化为稳态问题的代数方程系统，或在含时问题的情况下简化为常微分方程系统。如果PDE是线性的，那么这些系统将是linearhttps://www.encyclopediaofmath.org/index.php/Galerkin_methodas可以用高斯消去法或雅可比法或高斯-赛德尔法等迭代法来求解。如果偏微分方程不是线性的，人们可能需要求解非线性方程组，而这些方程组通常计算量更大。与有限差分方法相比，有限元方法的一个主要优点是，有限元可以轻松处理复杂的边界几何，这通常出现在物理或工程问题中，而使用有限差分算法可能很难实现。3.4蒙特卡罗方法偏微分方程的一个更吸引人的方面是它们如何与随机过程密切相关。Feynman-Kac定理就是最好的例子，它可以从两个方面来看待：o它提供了一类线性偏微分方程的解，用涉及相关随机过程的预期来编写；o它提供了一种方法，通过求解相关的偏微分方程，可以计算出某些期望值。出于我们的目的，我们对这两种观点中的第一种很感兴趣。定理如下：偏微分方程的解(th+a（t，x）·xh+b（t，x）·xxh+g（t，x）·h（t，x）=c（t，x）·h（t，x）h（t，x）=h（x）允许h（t，x）=EP给出的随机表示*t、 x个中兴通讯-Rutc（s，Xs）ds·g（u，Xu）du+H（XT）·e-RTtc（s，Xs）ds式中，Et，x[·]=E[·| Xt=x]，过程x=（Xt）t≥0满足SDE：dXt=a（t，Xt）dt+b（t，Xt）dWP*twhere WP*=可湿性粉剂*t型t型≥0是概率测度P下的标准布朗运动*.

这种表示法建议使用蒙特卡罗方法来求解未知函数h。蒙特卡罗方法是一种基于模拟随机变量的数值技术，用于解决一系列问题，如数值积分和优化。回到这个定理，我们现在来讨论它的陈述：o当面对上述形式的偏微分方程时，我们可以定义一个（有效的）过程X，其漂移和波动性分别由过程a（t，Xt）和b（t，Xt）给出将c视为“贴现因子”，然后考虑贴现终端条件H（XT）和运行条件g（t，XT）的条件期望，前提是时间t的X值等于已知值X。显然，该条件期望是t和X的函数；对于t和x的每个值，我们都有一些条件期望值该函数（作为t和x函数的条件期望）精确地是我们开始时的偏微分方程的解，可以通过过程x的蒙特卡罗模拟进行估计。也为非线性偏微分方程开发了一类蒙特卡罗方法，但这超出了本工作的范围。第四章深度学习导论近几十年来，在计算能力和数据收集与可用性方面取得了巨大进步，与此同时，人们对机器学习（ML）领域的兴趣也与日俱增。机器学习在图像和语音识别、医疗诊断、电子邮件过滤、欺诈检测和许多其他领域的广泛应用中取得了成功，这进一步加强了这一点。2013 2014 2015 2017 2018102030405060708090100图4.1：谷歌搜索各种术语的频率。

值100是该术语的最受欢迎程度；值为50表示该术语的流行程度为50%。顾名思义，机器学习一词是指从数据中学习的计算机算法。根据上下文，“学习”一词可能有多种含义，但共同的主题如下：计算机面临atask和相关的性能度量，其目标是通过示例和数据形式的经验来提高其在这项任务中的性能。ML自然分为两个主要分支。监督学习是指数据点包括标签或目标，任务涉及预测这些标签/目标（即分类和回归）的情况。无监督学习是指数据集不包含此类标签，任务涉及学习与输入数据的各种变量相关的有用结构的情况（例如聚类、密度估计）。ML的其他分支，包括半监督学习和强化学习，目前也受到了大量的研究关注。有关更多详细信息，请参阅Bishop（2006）或Goodfello等人（2016）。机器学习中的一个重要概念是泛化，泛化与欠匹配和过匹配相关。在许多ML应用程序中，目标是能够对算法没有遇到的数据做出有意义的陈述，也就是说，将模型推广到看不见的示例。从某种意义上讲，可能会将假设模型与训练数据校准得“太好”，因为该模型会对新数据点做出错误的预测；这就是所谓的覆盖。相反的情况是拟合不足，模型对输入数据的拟合不够好，因此无法推广到测试数据。

在不足和过度匹配之间达成平衡，这本身可以被视为偏差和方差之间的权衡，对于MLalgorithm的成功至关重要。在理论方面，有许多与ML相关的有趣结果。例如，对于某些任务和假设模型，可以获得最小样本量，以确保训练误差是具有高可信度的泛化误差的忠实代表（这被称为近似正确（PAC）可学性）。另一个结果是没有免费午餐定理，这意味着没有通用的学习者，即每个学习者都有一个任务，即使另一个算法可以成功地学习相同的任务，它也会失败。为了更好地阐述机器学习的理论方面，读者们参考了Shalev Shwartz和Ben David（2014）。4.1神经网络和深度学习神经网络是近年来受到广泛关注的机器学习模型，因为它们在许多不同的应用中取得了成功。激励神经网络模型背后的方法的典型方式是比较它们对人脑的操作方式。大脑（和神经网络）的构造块是称为神经元的基本计算设备，通过复杂的通信网络相互连接。通信链路使一个神经元激活，从而激活与其相连的其他神经元。从学习的角度来看，训练神经网络可以被认为是决定哪些神经元“融合”在一起。从数学上讲，神经网络可以定义为一个有向图，其中垂直表示神经元，边表示链接。每个神经元的输入是连接到其传入边缘的所有神经元输出的加权和的函数。