解决机器学习中复杂优化问题的简单方法

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

在机器学习、统计学、数学和深度学习中有很多例子，需要一种算法来解决一些复杂的方程：例如，最大似然估计（考虑逻辑回归或 EM 算法）或梯度方法（考虑随机或群体优化） ）。在这里，我们正在处理更困难的问题，其中解决方案不是一组最优参数（一个有限维对象），而是一个函数（一个无限维对象）。

上下文是离散的、混沌的动力系统，应用于天气预报、人口增长模型、复杂的计量经济系统、图像加密、化学（混合物）、物理学（物质如何达到平衡温度）、天文学（天文学是人造的还是自然的）物体最终具有稳定或不稳定的轨道）或股票市场价格，仅举几例。这些被称为复杂系统。

这里讨论的问题的解决方案需要数值方法，因为通常不知道精确的解决方案。要求解的方程类型称为泛函方程或随机积分。我们探讨了一些实际已知精确解的情况：这有助于评估本文讨论的数值方法的效率、准确性和收敛速度。这些方法基于应用于无限维问题的定点算法。

1. 一般问题

我们正在处理由x n +1 = T ( xn ) 定义的离散动力系统，其中T 是实值函数，x 0 是初始条件。为了简单起见，我们将自己限制在xn在 [0, 1] 中的情况。这里描述了泛化，例如xn是一个向量。最著名的例子是逻辑图，其中T ( x ) = λx (1- x )，表现出混沌行为与否，取决于参数λ的值。

在我们的例子中，函数T ( x ) 采用以下形式：  T ( x ) = p ( x ) – INT( p ( x ))，其中 INT 表示整数部分函数，​​p ( x ) 是正的，单调的，p (1) = 1 和p (0) 无穷大时连续和递减（因此是双射的） 。例如p ( x ) = 1 / x对应于与连分数相关的高斯图；它是最基本和最基本的例子，我在这里讨论它 以及本文下面的内容。另一个示例是此处讨论的 Hurwitz-Riemann 映射。

1.1。不变分布和遍历性

系统的不变分布是连续的xn之后的分布，或者换句话说，在给定初始条件x 0 的情况下，附加到xn的经验分布的极限。可以导出许多有趣的属性如果不变密度f ( x ) （不变分布的导数）已知，假设它存在。这仅适用于遍历系统。这里考虑的所有系统都是遍历的。不变分布适用于几乎所有的初始条件x 0，尽管一些x0的叫异常，违法。这是所有这些系统的典型特征。对于某些系统（例如伯努利图），不是异常的x 0 称为正常数。

遍历，我的意思是对于几乎任何初始条件x 0，序列 ( xn ) 最终以统一和随机的方式访问 [0, 1] 的所有部分。这意味着系统的平均行为可以从附加到初始条件x 0 的“典型”序列 ( xn ) 的轨迹推导出来。等效地，足够大的过程随机实例集合（也称为轨道）可以表示整个过程的平均统计属性。

不变分布在概率论中也称为平衡或吸引子分布。

1.2. 要求解的函数方程

让我们假设对于某个函数r ，不变分布F ( x ) 可以写为  F ( x ) = r ( x +1) - r(1) 。F ( x )的支持域是 [0, 1]，因此 F (0) = 0，F (1) = 1，如果 x < 0 则F ( x ) = 0，如果 x 则 F ( x ) = 1 > 1. 定义R ( x ) = r ( x +1) - r ( x )。然后我们可以检索p ( x ) （在某些条件下）使用公式


因此r ( x ) 必须在 [1,2] 和r (2) = 1 + r (1) 上增加。不是任何函数都可以是不变分布。

在实践中，您知道p ( x ) 并尝试找到不变分布F ( x )。所以上面的公式没有用，除了它可以帮助您创建一个动态系统表，由它们的函数p ( x ) 定义，具有已知的不变分布。可以在此处获得这样的表格，请参阅该文章中的附录 1，特别是具有黎曼 zeta 系统的示例 5。当精确解已知时，测试第 2 节中描述的定点算法很有用。

如果只知道p ( x )，要检索F ( x ) 或其导数 f ( x )，则需要求解以下函数方程，其未知数是函数f。


其中q是函数p的倒数。请注意，R ( x ) = F ( q ( x )) 或R ( p ( x )) = F ( x )，其中p ( q ( x )) = q ( p ( x )) = x。此外，这里x在 [0, 1] 中。在实践中，如果您使用总和中的前 1,000 个项，您会得到一个很好的近似值。通常，不变密度f是有界的，权重 | q '( x + k )| 随着k的增加 ，衰减相对较快。

这背后的理论超出了本文的范围。它基于转移算子，也在我之前的一篇文章中进行了简要讨论，这里：参见“ f的函数方程”部分。不变密度是传递算子的特征函数，对应于特征值 1。另外，如果x被向量替换（例如，如果使用二元动力系统），上述公式可以推广，涉及两个变量x，y，并且（联合）分布的导数被雅可比替换。

2.通过不动点算法的数值解

1.2 节中的最后一个公式。提出了一种简单的迭代算法来求解此类方程。您需要从一个初始函数f 0 开始，在这种情况下，[0, 1] 上的均匀分布通常是一个很好的起点。也就是说，如果x在 [0, 1] 中，则f 0( x ) = 1 ，而在其他地方则为 0。迭代步骤如下：


x在[0, 1] 中。每次迭代n在 [0, 1] 上生成一个全新的函数fn，希望算法在n趋于无穷大时收敛。如果发生收敛，则限制函数必须是系统的不变密度。这是一个 无限维度的定点算法的例子。

在实践中，您只计算（例如）10,000个均匀分布在 0 和 1 之间的x值的f ( x )  。例如，如果f n +1(0.5) 需要计算（例如）fn (0.879237…) 并且数组中最接近的值是fn (0.8792)，您可以将 fn (0.879237…) 替换为fn (0.8792)，或者使用插值技术。这比使用在编程语言中递归定义的函数更有效。令人惊讶的是，收敛速度非常快，在测试的示例中，真实解与 3 次迭代后获得的误差之间的误差非常小，见下图。


上图中，p ( x ) = q ( x ) = 1 / x，已知不变分布：f ( x ) = 1 / ((1+ x )(log 2))。它以红色描绘，与高斯-库兹明分布有关。请注意，我们从黑色（平线）图中的均匀分布f 0 开始。第一次迭代f 1 为绿色，第二次迭代f 2 为灰色，第三次迭代f3 是橙色的，与红色的精确溶液几乎无法区分（我需要放大镜才能看到它）。这些计算的源代码可在此处获得。在源代码中，有两个额外的参数 α，λ。当 α = λ = 1 时，它对应于经典情况p ( x ) = 1 / x。

3. 应用

与这些动力系统相关的一个有趣的概念是digit。第n位dn定义为 INT( p ( x n)) ，其中 INT 是整数部分函数。我称它为“数字”，因为所有这些系统都附有一个记数系统，概括了标准记数系统，这只是一个特例。如果您知道附加到初始条件x 0 的数字，则可以使用简单的算法检索x 0。从足够大的n =  N和xn +1 = 0 开始（ 对于x ，您将获得大约N位数的精度0)，并使用递归xn = q ( x n +1 +  dn ) – INT( q (x n +1 + dn ))从n = N到n = 0 向后迭代计算xn 。这些数字可用于加密系统。

这将在我即将出版的《离散动力系统的温和介绍》一书中详细描述。然而，这里讨论的有趣部分与统计建模有关。首先，让我们看看x 0 = π – 3 在两个不同的动力系统中的位数：

续分数。这里p ( x ) = 1 / x。前 20 位数字是 7、15、1、292、1、1、1、2、1、3、1、14、3、3、23、1、1、7、4、35，请参见此处。
一个不那么混沌的动力系统。这里p ( x ) = (-1 + SQRT(5 +4/ x )) / 2。前 20 位数字是 2, 1, 1, 1, 1, 1, 1, 2, 1, 2, 1, 1 , 1, 26, 1, 3, 1, 10, 1, 1。我们还有F (x) = 2 x / ( x +1)。
在这两种情况下，数字的分布都是已知的。对于连分数，它是Gauss-Kuzmin 分布。对于第二个系统，一个数字等于k​​的概率是 4 / ( k ( k +1)( k +2))，请参见本文中的示例 1 。一般来说，所讨论的概率等于F ( q ( k )) – F ( q ( k +1)) 对于k= 1、2 等。显然，这些数字的分布可以用来量化系统中的混乱程度。对于连分数，任意数字的期望值是无限的（尽管它是有限的并且以数字的对数而闻名，请参见此处），而对于第二个系统它是有限的（等于 2）。然而，只要有足够的时间，每个系统都会发出任意大的数字。量化动态系统中混沌的另一种方法是查看序列 ( xn ) 的自相关结构。自相关非常接近于零，衰减非常快，与高度混沌系统有关。在连分数的情况下，lag-1 自相关，定义为以（比如说）  x开头的序列上的经验自相关的极限0 = π – 3，是


其中 γ是Euler-Mascheroni 常数，见本文附录 2 。这可能是一个新的结果，以前从未发布过。

下图是上面提到的更平滑动力系统的p ( xn ) 的连续值。这些值接近数字dn。初始条件是 x 0 = π – 3。在我的下一篇文章中，我将进一步讨论在这些不同系统中定义和测量混沌的新方法。


上图中显示了p ( xn )的前 5,500 个值， n = 0、1、2 等。想想什么样的商业、自然或工业过程可以用这种时间序列建模！可能性是无止境。例如，它可以代表很长一段时间内的陨石撞击，几个大值代表巨大的影响。显然，它可以用于异常值、极端事件和风险建模。

最后，这是另一个例子，这次是基于网格上一个不相关的不同二元动力系统（猫图），用于图像加密。这是一对樱桃的图片上的映射。图像宽 74 像素，需要 114 次迭代才能恢复，尽管它在中途点（第 57 次迭代）看起来是颠倒的

编辑推荐
1、2022年300个以上最佳免费数据科学课程
2、大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！
3、机器学习模型方法总结
4、历史最全机器学习/深度学习/人工智能专业术语表中英对照表
5、机器学习如何应用于商业场景？三个真实的商业项目
6、数据工作者的自我修养 | 哪些技能是必不可少的？
7、《汗牛充栋：数据分析书籍分享》CDA网校新课上线
8、文本挖掘常用的107个语料库
9、一图读懂“东数西算”工程
10、零基础转行数据分析，看这篇文章就够了

DA内容精选

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：机器学习 简单方法 Riemann 最大似然估计 Euler