发帖
雷达卡
从线性回归到神经网络：机器学习模型的演进之路
1 线性回归：预测连续值的起点
作为机器学习中最基础且直观的算法之一，线性回归主要用于解决连续数值的预测问题。其核心在于构建一个能够描述输入特征与输出目标之间线性关系的数学模型，并利用已有数据训练该模型以对未知样本进行预测。
1.1 假设函数
在线性回归中，假设函数用于表达输出与输入之间的线性依赖关系。对于包含n个特征的数据集，该函数可表示为：
h(x) = β + βx + βx + … + βx + ε
其中，h(x) 表示模型的预测结果；β 为偏置项（即截距）；β 到 β 是各特征对应的权重参数；x 到 x 为输入变量；ε 代表误差项，反映模型未能捕捉的随机扰动。
为了提升计算效率和表达简洁性，通常采用向量形式重写上述公式：
h(x) = XW + b
此处，X 为特征矩阵，W 为权重向量，b 为偏置。这种形式便于在实际编程中使用矩阵运算实现批量处理。
1.2 代价函数与优化目标
为了评估模型预测精度并寻找最优参数组合，需引入代价函数。在线性回归中，最常用的是均方误差（MSE），定义如下：
J(β) = (1 / 2m) Σ(y - h(x))
其中，m 为训练样本总数，y 为第 i 个样本的真实标签。该函数通过平方差强调较大偏差的影响，同时保证整体函数为凸函数，从而确保存在全局最小值。
模型的目标是通过调整参数 β，使 J(β) 达到最小。这一过程常借助梯度下降法完成。
1.3 梯度下降法实现参数优化
梯度下降是一种迭代式优化策略，其基本原理是沿着代价函数梯度的负方向逐步更新参数，逼近最优解。具体步骤包括：
- 随机初始化权重参数 β
- 计算当前参数下的偏导数：J(β)/β
- 按规则更新参数：β := β - α·(J/β)
- 重复上述过程直至收敛
其中，α 表示学习率，控制每次更新的步长。若 α 过小，收敛速度慢；若过大，则可能导致震荡或无法收敛。
| 组件 | 数学表达 | 作用与意义 |
|---|---|---|
| 假设函数 | h(x) = XW + b | 建立输入特征与输出目标之间的线性映射关系 |
| 代价函数 | J(β) = (1 / 2m) Σ(y - h(x)) | 量化预测值与真实值之间的总体偏差 |
| 优化方法 | β := β - α·(J/β) | 通过迭代方式最小化损失函数 |
2 逻辑回归：从回归到分类的桥梁
虽然名称中含有“回归”，但逻辑回归实际上是一种广泛应用于二分类任务的模型。它通过引入 Sigmoid 函数将线性输出转换为概率值，并结合交叉熵损失函数进行优化。
Sigmoid 函数的形式为：
σ(z) = 1 / (1 + e)
该函数将任意实数映射到 (0,1) 区间，可用于解释为属于正类的概率。当输入 z = XW + b 时，输出 σ(z) 即为预测概率。
与线性回归不同，逻辑回归采用交叉熵作为损失函数：
L(y, p) = -[y log(p) + (1y) log(1p)]
其中 y 为真实标签（0 或 1），p 为预测概率。该函数对错误预测施加更高的惩罚，尤其适用于分类场景。
| 特性 | 线性回归 | 逻辑回归 |
|---|---|---|
| 任务类型 | 连续值预测 | 二分类 |
| 输出范围 | (-∞, +∞) | (0, 1) |
| 激活机制 | 无非线性变换 | Sigmoid 函数 |
| 损失函数 | 均方误差（MSE） | 交叉熵损失 |
| 输出解释 | 直接预测值 | 类别概率 |
3 激活函数与非线性拟合：引入非线性能力
线性模型虽结构简单、易于求解，但其表达能力受限于线性边界，难以拟合复杂模式。为此，可通过引入非线性激活函数扩展模型能力。
常见激活函数包括：
- Sigmoid：输出介于 0 和 1 之间，适合概率建模，但易导致梯度消失
- Tanh：输出在 (-1,1)，中心对称，收敛性能优于 Sigmoid
- ReLU（修正线性单元）：f(x)=max(0,x)，计算高效，缓解梯度消失问题，广泛应用
- Leaky ReLU：改进版 ReLU，在负区引入小斜率，避免神经元“死亡”
此外，还可通过基函数扩展方法增强线性模型的拟合能力，例如将原始特征映射至高维空间（如多项式项、径向基函数等），使其能捕捉非线性关系。
4 从神经元到神经网络：架构的演进
人工神经网络的设计受到生物神经元的启发。早期的 M-P 模型（McCulloch-Pitts Neuron）提出了简单的阈值单元概念：多个输入加权求和后经阈值判断产生输出。
现代神经元在此基础上发展而来，基本流程如下：
- 接收来自前一层的输入信号 x 到 x
- 对每个输入乘以其对应权重 w 到 w 并求和
- 加上偏置项 b
- 将总和送入激活函数 f 得到输出：output = f(Σwx + b)
多个神经元分层连接构成神经网络。典型结构包括输入层、隐藏层和输出层。信号从前向后逐层传递，形成前向传播路径。
| 函数 | 表达式 | 优点 | 缺点 |
|---|---|---|---|
| Sigmoid | 1/(1+e) | 平滑、输出有界 | 梯度消失、非零中心 |
| Tanh | (e - e)/(e + e) | 零中心、输出对称 | 仍存在梯度消失 |
| ReLU | max(0, x) | 计算快、缓解梯度消失 | 负区梯度为零 |
| Leaky ReLU | max(αx, x), α≈0.01 | 保留负区响应 | 需手动设置参数 |
5 前向传播与反向传播：神经网络的训练引擎
神经网络的运行依赖两大核心机制：前向传播与反向传播。
前向传播指数据从输入层经过各隐藏层最终到达输出层的过程。每一层执行以下操作：
- 接收上一层输出作为输入
- 进行线性变换：z = WX + b
- 应用非线性激活函数：a = f(z)
- 将结果传递给下一层
整个过程逐层推进，直至获得最终预测结果。
反向传播则是参数更新的关键。它基于链式法则，从输出层开始反向计算每个参数对总损失的影响（即梯度），然后使用梯度下降法调整权重。
主要步骤包括：
- 计算输出层误差
- 利用链式法则逐层回传误差项
- 求出各层参数的梯度 L/W 和 L/b
- 更新参数：W ← W - α·L/W
反向传播使得深层网络也能有效训练，是深度学习得以发展的基石之一。
6 总结：从简单到复杂的统一视角
从线性回归到神经网络，尽管模型复杂度不断提升，但其底层思想具有一致性：
- 都包含假设函数来建模输入与输出的关系
- 都依赖代价函数衡量预测准确性
- 均通过优化算法（如梯度下降）调整参数以最小化损失
区别在于：线性回归仅使用线性组合，而神经网络通过多层非线性变换极大增强了表达能力。可以说，神经网络是线性模型在深度与非线性上的自然延伸。
| 概念 | 线性回归 | 逻辑回归 | 神经网络 |
|---|---|---|---|
| 基本单元 | 线性函数 | 带Sigmoid的线性函数 | 非线性神经元 |
| 结构层次 | 单层 | 单层 | 多层堆叠 |
| 激活方式 | 无 | Sigmoid | 多种非线性函数 |
| 损失函数 | MSE | 交叉熵 | 交叉熵/MSE等 |
| 适用任务 | 回归 | 分类 | 回归/分类/复杂模式识别 |
为了最小化代价函数，模型通过迭代更新参数来逐步优化性能。线性回归虽然在某些场景下简单有效，但其核心局限在于只能拟合输入与输出之间的线性关系。当实际问题涉及非线性模式或需要进行类别划分时，该方法便显得力不从心。此时，逻辑回归作为一种更灵活的工具应运而生。
逻辑回归尽管名称中包含“回归”二字，但实际上它主要用于解决二分类任务，是一种典型的线性分类器。它的关键改进在于引入了一个映射机制，将原本连续的线性输出转化为介于0和1之间的概率值，从而适用于分类场景。
2.1 实现从线性输出到概率的转换
在线性回归中，预测结果可以取任意实数，范围为 (?∞, +∞)，这显然不适合直接表示概率（概率必须落在[0,1]区间内）。为了解决这个问题，逻辑回归采用了Sigmoid函数（也称作逻辑函数），其数学形式如下：
g(z) = \frac{1}{1 + e^{-z}}
其中 z = W^TX 是线性组合部分的结果。Sigmoid函数能够将任意实数压缩至(0,1)开区间内，恰好满足概率表达的需求：当 z 趋向正无穷时，g(z) 接近1；当 z 趋向负无穷时，g(z) 接近0；当 z=0 时，g(z)=0.5。
因此，逻辑回归的假设函数被定义为：
h(x) = g(z) = \frac{1}{1 + e^{-W^TX}}
这个函数代表样本属于正类的概率，即 P(y=1|x;W) = h(x)，相应地，负类的概率则为 P(y=0|x;W) = 1 - h(x)。
2.2 使用交叉熵作为代价函数
由于逻辑回归输出的是概率分布，传统的均方误差不再适合作为优化目标。取而代之的是交叉熵损失函数，其公式如下：
J(W) = -\frac{1}{m} \sum_{i=1}^{m} [y_i \log(h(x_i)) + (1-y_i)\log(1-h(x_i))]
[pic1]这一函数看似复杂，实则具有清晰的直观含义：若真实标签 y_i = 1，则损失主要由 -\log(h(x_i)) 决定——即预测概率越接近1，损失越小；反之，若 y_i = 0，则损失取决于 -\log(1 - h(x_i))，此时预测值越接近0，损失越低。
该损失函数也被称作对数似然损失，最大化对数似然等价于最小化交叉熵。更重要的是，这是一个凸函数，确保了使用梯度下降等优化算法时能收敛到全局最优解。
2.3 模型决策边界与可解释性分析
虽然逻辑回归输出的是概率值，但在实际应用中仍需做出明确的类别判断。通常设定一个阈值（默认为0.5）：当 h(x) ≥ 0.5 时判定为正类，否则为负类。这一划分对应于决策边界 W^TX = 0。
值得注意的是，逻辑回归的原始决策边界是线性的。然而，通过引入多项式特征等非线性变换方式，例如构造：
z = θ + θx + θx + θx + θx
可以使模型学习到圆形或椭圆形等非线性边界，从而提升对复杂数据分布的拟合能力。
| 特性 | 线性回归 | 逻辑回归 |
|---|---|---|
| 任务类型 | 回归（预测连续值） | 分类（预测离散类别） |
| 输出范围 | (?∞, +∞) | (0,1) 概率值 |
| 假设函数 | h(x) = W^TX | h(x) = \frac{1}{1+e^{-W^TX}} |
| 代价函数 | 均方误差（MSE） | 交叉熵损失 |
| 优化目标 | 使预测值逼近真实值 | 最大化正确类别的预测概率 |
逻辑回归借助Sigmoid函数成功将线性模型拓展至分类领域，但其本质仍是线性分类器。面对高度复杂的非线性数据结构，其表现存在明显瓶颈，这就促使我们进一步探索具备更强表达能力的非线性建模方法。
3 引入激活函数以实现非线性拟合
无论是线性回归还是逻辑回归，本质上都属于线性模型，难以捕捉变量间的复杂非线性关系。激活函数的引入正是打破这一限制的关键所在。它赋予神经网络进行非线性变换的能力，显著提升了模型对复杂模式的学习和拟合效果。
3.1 主要激活函数及其特点
激活函数的作用是决定神经元是否被激活，并将加权输入信号转换为输出信号。以下是几种广泛使用的激活函数：
Sigmoid函数：
σ(z) = \frac{1}{1 + e^{-z}}
该函数输出平滑且连续，常用于早期神经网络和逻辑回归中。但由于存在梯度消失问题，在深层网络中已逐渐被其他函数替代。
3.2 从基函数到非线性变换
引入非线性的另一种有效方式是通过基函数对特征空间进行扩展。以多项式回归为例，可以通过添加原始特征的高次项（如 x, x 等）将原本仅能拟合线性关系的模型升级为能够捕捉非线性模式的模型。
更一般地，可以定义一个映射函数 φ(x)，将输入特征转换至更高维的空间：
φ(x) = [1, x, x, x, ...]
随后在该高维空间中应用线性模型：
h(x) = Wφ(x)
尽管该模型在参数 W 上保持线性，但由于输入已被非线性映射，因此整体在原始特征 x 上呈现出非线性行为。
这种思想与神经网络存在本质联系：神经网络利用多层非线性激活函数逐步构建复杂的特征表示，而基函数方法可视为仅进行单层非线性映射的特例。
3.3 非线性为何不可或缺？
引入非线性变换具有深远意义，主要原因包括：
- 现实世界的复杂性：真实数据中的变量关系通常高度非线性，线性模型难以充分描述这类动态交互，而非线性模型具备更强的表达能力。
- 自动学习特征交互：非线性模型能够在训练过程中自动发现并建模不同特征之间的交互效应，无需人工预先构造交叉项。
- 层次化特征提取：深度模型通过堆叠多个非线性层，实现从底层简单模式（如边缘、纹理）到高层抽象概念（如物体部件、语义类别）的逐级抽象。
然而，非线性也带来一定挑战：可能导致模型过度复杂从而引发过拟合；优化路径更加崎岖，容易陷入局部极小值。这些局限推动了更强大且结构化学习架构的发展。
常见激活函数及其特性分析
| 激活函数 | 数学表达式 | 优点 | 缺点 |
|---|---|---|---|
| Sigmoid | σ(z) = 1 / (1 + e) | 输出范围为 (0,1)，适用于概率建模 | 两端梯度趋近于零，易引发梯度消失问题 |
| Tanh（双曲正切） | tanh(z) = (e - e) / (e + e) | 输出区间为 (-1,1)，均值接近零，有利于收敛 | 仍存在饱和区，梯度在极端值附近接近零 |
| ReLU（线性整流单元） | ReLU(z) = max(0, z) | 在正区间梯度恒为1，缓解梯度消失；计算高效，加速收敛 | 负半轴梯度为零，可能导致部分神经元永久失活 |
3.1 常用激活函数详解
Sigmoid 函数 将输入压缩至 (0,1) 区间，适合用于需要输出概率的任务。其主要缺陷在于函数两端进入饱和区后，导数极小，造成反向传播时梯度难以传递，即“梯度消失”现象。
双曲正切函数（Tanh） 的输出范围为 (-1,1)，相较于 Sigmoid，其输出以零为中心，有助于提升模型训练稳定性。尽管如此，它同样面临梯度在输入过大或过小时趋于消失的问题。
ReLU（Rectified Linear Unit） 定义为 ReLU(z) = max(0, z)。当输入大于零时，梯度恒为1，显著缓解了深层网络中的梯度衰减问题；同时计算简单，加快训练速度。但其在负区域梯度为零，若权重更新不当，可能使某些神经元始终不被激活，形成“死亡神经元”。
各类激活函数各有适用场景，具体选择需结合任务需求和网络结构综合考量。它们共同构成了模型非线性拟合能力的核心，使得神经网络能够逼近任意复杂的函数映射。
4 从单个神经元到神经网络：架构的演进
单一的线性模型或简单的非线性变换在处理复杂任务时表现有限。神经网络借鉴生物神经系统的工作机制，通过将大量基本处理单元——神经元——组织成层级结构，大幅提升了模型的表达能力。
4.1 受生物启发的 M-P 模型
神经网络的基本构件是人工神经元，其设计灵感来源于生物神经细胞。1943 年，McCulloch 与 Pitts 提出了首个形式化的神经元数学模型（简称 M-P 模型），为后续神经网络的发展奠定了理论基础。
一个典型的人工神经元接收多个输入信号 x, x, ..., x，每个输入对应一个可学习的权重 w, w, ..., w。神经元首先计算加权和：
z = Σ wx + b
然后通过一个非线性激活函数 f 得到输出：
a = f(z)
这一机制与逻辑回归极为相似，事实上，单个神经元即可被视为一个带有非线性激活的线性分类器。神经网络的关键突破在于将成百上千个这样的单元连接成网络结构，从而实现远超单个单元的建模能力。
4.2 神经网络的层级结构
现代神经网络通常由三层构成：输入层负责接收原始数据，隐藏层执行多层次的特征提取与变换，输出层生成最终预测结果。
一个多层前馈神经网络的前向传播过程如下所示：
- 输入层：a[0] = x
- 第一隐藏层：
- z[1] = W[1]a[0] + b[1]
- a[1] = f(z[1])
- 第二隐藏层：
- z[2] = W[2]a[1] + b[2]
- a[2] = f(z[2])
- 输出层：
- z[3] = W[3]a[2] + b[3]
- = g(z[3])
其中上标 [l] 表示第 l 层，f 和 g 为激活函数（可根据需要设置不同函数）。
深度神经网络通过多层非线性变换构建层次化特征体系：浅层识别基础模式（如图像中的边缘），中间层组合这些基础特征形成局部结构（如角点、轮廓），高层则整合信息形成语义级别的抽象表示（如人脸、文字等）。
激活函数及其特性
Sigmoid 函数 的数学表达式为：
\[ \frac{1}{1+e^{-z}} \]
其输出范围在 (0,1) 之间，适用于表示概率值。然而，Sigmoid 存在梯度消失问题，并且其输出不是以零为中心，这可能影响训练效率。
Tanh 函数 的公式如下：
\[ \frac{e^z - e^{-z}}{e^z + e^{-z}} \]
该函数的输出区间为 (-1,1)，具有零中心的特性，有助于加快收敛速度。尽管如此，Tanh 同样面临梯度消失的问题，在深层网络中可能导致训练困难。
ReLU 函数 定义为：
\[ \max(0,z) \]
ReLU 计算简单、效率高，能够有效缓解梯度消失问题，尤其在正区。但其负区梯度为零，可能导致部分神经元“死亡”，即不再对任何输入有响应。
神经网络结构与归纳偏好
神经网络的设计包括层数、每层神经元数量以及连接方式等要素，这些共同构成了模型的归纳偏好，决定了模型能够学习和逼近的函数类型。通常情况下，更深的网络具备更强的表达能力，可以拟合更复杂的函数关系，但也伴随着更高的数据需求和计算开销。
前向传播：预测过程的核心机制
前向传播 描述了输入数据从输入层经过各隐藏层逐层传递，最终生成输出结果的过程。对于第 \( l \) 层，其计算步骤如下：
\[ z^{[l]} = W^{[l]}a^{[l-1]} + b^{[l]} \]
\[ a^{[l]} = f^{[l]}(z^{[l]}) \]
其中，\( a^{[l-1]} \) 是上一层的输出（当前层的输入），\( W^{[l]} \) 和 \( b^{[l]} \) 分别是该层的权重矩阵和偏置向量，\( f^{[l]} \) 表示该层所使用的激活函数。
前向传播的最终目的是得到模型的预测输出，并结合真实标签计算损失函数值。根据任务的不同，采用的损失函数也有所区别：
- 回归任务：使用均方误差（MSE）作为损失函数： \[ J = \frac{1}{2m}\sum (y - \hat{y})^2 \]
- 二分类任务：采用交叉熵损失： \[ J = -\frac{1}{m}\sum \left[ y\log\hat{y} + (1-y)\log(1-\hat{y}) \right] \]
- 多分类任务：使用多类交叉熵损失： \[ J = -\frac{1}{m}\sum\sum y_c\log\hat{y_c} \]
通过前向传播，我们获得了模型的预测结果及对应的损失值，但这只是训练的第一步。为了优化参数，还需进行反向传播以获取梯度信息。
反向传播：梯度计算的关键算法
反向传播 是神经网络训练中的核心环节，利用链式法则高效地计算损失函数对每个参数的梯度。这些梯度指示了参数更新的方向，以便最小化损失。
反向传播从输出层开始，逐层向前回传误差信号。对于第 \( l \) 层，主要计算包括：
- 输出层误差计算： \[ \delta^{[L]} = \frac{\partial J}{\partial a^{[L]}} \odot f'^{[L]}(z^{[L]}) \]
- 将误差反向传播至前一层： \[ \delta^{[l]} = (W^{[l+1]T} \delta^{[l+1]}) \odot f'^{[l]}(z^{[l]}) \]
- 计算参数梯度： \[ \frac{\partial J}{\partial W^{[l]}} = \delta^{[l]} a^{[l-1]T},\quad \frac{\partial J}{\partial b^{[l]}} = \delta^{[l]} \]
其中，符号 \( \odot \) 表示逐元素相乘（Hadamard 积），\( f' \) 为激活函数的导数。
反向传播的优势在于其计算效率高，整体复杂度与前向传播相当，远优于单独计算每个参数梯度的方法。
参数更新与优化方法
在获得各层参数的梯度后，使用梯度下降法进行参数更新：
\[ W^{[l]} = W^{[l]} - \alpha \frac{\partial J}{\partial W^{[l]}} \]
\[ b^{[l]} = b^{[l]} - \alpha \frac{\partial J}{\partial b^{[l]}} \]
其中，\( \alpha \) 为学习率，控制每次更新的步长。合理设置学习率对模型收敛速度和稳定性至关重要。
前向传播与反向传播协同工作，构成了神经网络训练的核心引擎，使模型能够从数据中自动学习特征与模式，实现强大的拟合能力。
在实际的模型训练过程中，通常采用小批量梯度下降方法，即将整个训练集划分为若干个小批次，逐批进行处理。这种方式不仅提升了计算效率，还通过引入一定程度的随机性，使参数更新过程更具多样性，从而有助于模型跳出局部极小值，提升整体优化效果。
神经网络的训练依赖于前向传播与反向传播的交替执行，构成一个完整的训练循环：首先通过前向传播计算出预测结果并得出损失值，接着利用反向传播机制计算各参数对应的梯度，最后由优化算法根据这些梯度信息更新模型参数。这一流程不断迭代，直至模型的损失函数趋于稳定或达到预定收敛条件。
6 总结：统一视角下的模型演进路径
从最基础的线性回归出发，逐步过渡到结构复杂的神经网络，这一发展过程清晰地揭示了机器学习模型内在的逻辑脉络与演化规律。沿着这条技术路径，我们能够深入理解每一个阶段设计的必要性及其与前后环节之间的连续性。
| 模型 | 关键创新 | 解决的问题 | 遗留的挑战 |
|---|---|---|---|
| 线性回归 | 建立特征与目标变量之间的线性关系 | 实现连续数值的预测 | 难以应对非线性关系和分类任务 |
| 逻辑回归 | 引入Sigmoid函数以输出概率值 | 解决二分类问题 | 模型本质仍为线性判别边界 |
| 激活函数 | 加入非线性变换能力 | 拟合数据中的非线性模式 | 单层结构表达能力有限 |
| 神经网络 | 多层非线性变换的堆叠组合 | 逼近高度复杂的函数映射 | 训练难度大，依赖大量标注数据 |
回顾上述发展历程可以发现，尽管各类模型在结构和应用场景上存在差异，但它们都遵循同一个基本框架：通过设定假设函数来定义模型形式，使用损失函数评估预测性能，并借助优化算法不断调整参数以提升模型表现。这种共通的架构为我们提供了一个统一的理解视角，有助于把握机器学习的核心原理。
深度学习之所以取得显著成功，不仅仅是因为其网络结构日益复杂，更重要的是得益于大规模数据资源的积累、高性能计算硬件的发展以及高效优化算法的进步，三者协同推动了技术边界的持续扩展。目前，神经网络已在图像识别、自然语言处理、游戏智能等多个领域实现了突破性进展，然而机器学习的研究远未终结。
新的研究方向如图神经网络、Transformer架构、元学习等正在不断涌现，持续拓展着人工智能的能力边界。理解从线性回归到深层神经网络的完整演进过程，不仅能帮助我们更扎实地掌握现有模型的工作机制，也为未来探索更先进的学习方法提供了坚实的理论基础。这一由简至繁、从特殊到一般的发展轨迹，正是科学探索与技术创新相融合的典型体现。
京公网安备 11010802022788号
