从线性回归到Softmax：激活函数的进化-经管之家官网！

坛友互助群

扫码加入各岗位、行业、专业交流群

从线性回归到Softmax激活函数的演变，反映了神经网络在处理不同类型问题时对激活函数的需求和优化过程。线性回归是最基本的回归模型，通过最小二乘法等方法估计参数，适用于输出为连续值的问题。随着问题复杂性的增加，对率回归（Logistic Regression）被引入以处理二分类问题，它通过Sigmoid函数将线性组合映射到概率范围。

进一步地，当需要处理多分类问题时，Softmax激活函数成为了一种重要的工具。Softmax函数是Sigmoid函数的推广，能够将多维输入映射到概率分布上，适用于多分类任务。具体来说，Softmax函数通过归一化处理，使得输出向量的元素之和为1，并且每个元素代表一个类别的概率。

20、TensorFlow实现Softmax分类问题代码案例_哔哩哔哩_bilibili

在神经网络的发展过程中，不同的激活函数被提出以解决特定问题。例如，Sigmoid函数虽然适合输出概率，但存在饱和问题；Tanh函数解决了Sigmoid的饱和问题，但同样面临饱和风险；ReLU函数则通过引入单侧抑制和稀疏激活性，加速了梯度下降的收敛，尽管它可能导致神经元“死亡”。

Softmax函数不仅在多分类任务中广泛应用，还因其能够输出概率分布而成为分类问题的理想选择。此外，Softmax函数在实际应用中表现出色，例如在人脸识别和图像分类任务中，使用Softmax激活函数可以获得较高的准确率。
查看

Softmax函数作用 - 知乎

从线性回归到Softmax激活函数的演变，体现了神经网络在处理不同类型问题时对激活函数需求的变化和优化。每一步的改进都旨在提高模型的性能和稳定性，使得神经网络能够更好地解决复杂的机器学习问题。

扫码或添加微信号：坛友素质互助

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP