01引言——李沐《动手学深度学习》个人笔记

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1 引言

传统的软件开发依赖于程序员预先设定完整的业务逻辑与规则，这体现了人类强大的认知能力。然而，在面对诸如天气预测、图像识别或自动问答等复杂任务时，由于模式动态变化且内部关系高度复杂，人类难以制定出精确的规则体系。机器学习（ML）为此类问题提供了全新的解决路径：它是一类能从经验——如数据或交互中自主学习的技术，其性能会随着经验积累而逐步提升，这与传统固定逻辑程序有本质区别。

深度学习（DL）作为机器学习中极具影响力的一个分支，正推动着计算机视觉、自然语言处理等多个领域的技术革新。本书将围绕其核心概念与基础原理展开系统介绍。

1.1 日常生活中的机器学习

如今，机器学习已深度融入人们的日常生活中。以智能手机导航为例，从语音唤醒指令（如“Hey Siri”）开始，到语音内容识别，再到路线智能规划，短短几秒内便调用了多个机器学习模型协同工作。

以唤醒词检测为例，这一任务凸显了传统编程方法的局限性：输入是每秒高达约44000个采样点的原始音频信号，无法通过手工编写规则直接判断是否包含特定词语。机器学习采用“用数据编程”的范式应对该挑战：

• 构建带标签的数据集：收集含有或不含目标唤醒词的音频样本，并进行标注。
• 定义模型结构：选择一个由可调节参数控制的灵活程序框架，这些参数如同旋钮，调整它们即可改变模型行为。
• 应用学习算法：利用数据自动搜索最优参数组合，使模型在目标任务上的表现达到最佳。

训练过程本质上是一个迭代优化流程：首先随机初始化模型参数；然后获取一批带标签的数据样本；接着根据模型预测误差调整参数以提升准确率；重复上述步骤直至性能趋于稳定并满足要求。

1.2 机器学习中的关键组件

所有机器学习任务都包含四个基本要素：

数据：作为学习的经验来源，通常由大量样本构成，每个样本包括若干特征（即输入属性）和对应的标签（输出目标）。数据的质量、规模以及代表性至关重要。需警惕因样本不均衡或历史偏见导致的数据偏差，进而引发模型不公平现象。尤其值得注意的是，深度学习擅长处理长度不固定的输入，例如文本段落或图像像素序列。

模型：负责对输入数据进行变换并生成预测结果。深度学习模型通常基于多层神经网络架构，能够执行复杂的非线性映射与多层次抽象提取。

目标函数（又称损失函数）：用于衡量模型预测值与真实值之间的差距，优化的目标是最小化该函数。常见的形式包括回归任务中的平方误差和分类任务中的交叉熵。实践中使用训练集来拟合模型参数，再通过独立的测试集评估其泛化能力，防止出现过拟合——即模型在训练数据上表现优异但在新数据上效果差的问题。

优化算法：用于寻找能使损失函数最小化的最优参数配置。梯度下降法是最基础也是最核心的优化策略，其原理是计算损失关于参数的梯度，并沿负梯度方向更新参数，逐步逼近最优解。

1.3 各种机器学习问题

监督学习：基于带有明确标签的历史数据，学习从输入特征到输出标签的映射关系。

回归问题：预测连续型数值变量，如房价估计、降雨量预报等，回答的是“有多少”的问题。

分类问题：预测离散类别归属。可分为二项分类（如猫狗识别）和多项分类（如手写数字0-9识别）。模型输出通常为各类别的概率分布，体现预测的不确定性。实际决策还需结合风险考量——例如即便毒蘑菇识别置信度仅为20%，也应避免食用。

多标签分类：允许单个样本对应多个非互斥标签，典型应用场景如文章主题标注。

搜索与排序：不仅检索相关信息项，还依据相关性对其进行排序，典型代表为网页搜索引擎。

推荐系统：实现个性化内容推送。主要挑战在于数据多来源于用户行为反馈（显性评分或隐性点击），容易形成反馈循环，加剧信息茧房效应。

序列学习：处理输入或输出为序列的任务，例如：

• 语音识别：将音频时间序列转换为文字序列。
• 机器翻译：一种语言的文本序列映射为另一种语言的文本序列。
• 文本生成：从文本序列生成语音或其他模态输出。

无监督学习：在没有标签的情况下探索数据内在结构与潜在规律。典型任务包括：

• 聚类：将相似样本归为同一组。
• 主成分分析（PCA）：实现数据降维，保留主要信息。
• 因果发现：尝试推断变量间的因果关系。
• 生成对抗网络（GAN）：用于合成逼真的新数据样本。

强化学习与环境交互：

传统离线学习模式下，模型训练与部署环境相互隔离，缺乏实时反馈机制。而强化学习则让智能体在与环境的持续互动中学习策略。在每一个时间步，智能体接收环境状态的观察，执行某个动作，随后获得相应的奖励信号，最终目标是习得一个能最大化长期累积奖励的最优策略。

该领域面临的核心难题包括：

• 信用分配问题：难以确定哪个历史动作导致了当前奖励。
• 部分可观测性：智能体无法完全掌握环境全貌。
• 探索与利用的权衡：需在尝试新动作（探索）与执行已知高回报动作（利用）之间取得平衡。

典型特例包括：马尔可夫决策过程（假设环境状态完全可观测）、上下文赌博机和多臂赌博机模型。

1.4 起源

机器学习的思想渊源广泛，跨越多个学科：

统计学奠基：伯努利、高斯等人在概率分布建模与参数估计方面的研究为后续发展奠定了数学基础。

数据科学先驱贡献：罗纳德·费舍尔在实验设计与统计推断领域的开创性工作影响深远，他提出的鸢尾花数据集至今仍是教学与研究的标准工具。

理论与计算支撑：香农提出的信息论为数据编码与传输提供理论依据；图灵关于机器能否思考的哲学探讨及其提出的“图灵测试”，启发了人工智能的发展方向。

神经科学启示：唐纳德·赫布提出的“赫布学习”规则——即“一起激活的神经元会加强连接”，为人工神经网络的学习机制提供了生物学灵感。

早期神经网络探索：受生物神经系统分层结构启发，研究者提出了具有层级结构的人工神经网络，并引入反向传播算法进行参数训练。但由于当时计算资源匮乏且可用数据有限，该领域一度进入低潮期。

1.5 深度学习的发展

进入21世纪10年代，深度学习迎来爆发式复兴，主要得益于以下几方面因素：

大数据的兴起：互联网普及与低成本传感器广泛应用，催生了前所未有的海量数据资源，为模型训练提供了充足“养料”。

强大计算能力的支持：特别是图形处理器（GPU）的大规模并行计算能力，显著加速了深层网络的训练过程。

与此同时，关键性的算法创新也起到了决定性作用：

• 正则化技术：如Dropout机制，在训练过程中随机屏蔽部分神经元，有效缓解复杂模型的过拟合问题。
• 注意力机制：使模型能够聚焦于输入序列中的关键部分，解决了长距离依赖记忆难题，同时无需大幅增加参数量。
• 生成对抗网络（GAN）：通过生成器与判别器的对抗训练，实现高质量数据合成，在图像生成等领域取得突破性成果。

1.6 深度学习的成功案例

深度学习已在多个领域展现出卓越成效：

• 在图像识别方面，卷积神经网络（CNN）实现了超越人类水平的物体检测与分类精度。
• 自然语言处理中，基于Transformer架构的模型（如BERT、GPT系列）极大提升了机器理解与生成语言的能力。
• 自动驾驶系统依赖深度学习完成环境感知、路径规划与决策控制。
• 医疗影像分析借助深度模型辅助医生进行病灶检测与疾病诊断。

1.7 特点

深度学习之所以表现突出，主要归功于以下几个特点：

• 具备强大的特征自动提取能力，无需人工设计复杂特征工程。
• 能够处理高维、非结构化数据，如图像、音频、文本等。
• 通过深层网络结构实现多层次抽象表示，逐层提炼语义信息。
• 在大规模数据和算力支持下，展现出惊人的可扩展性与性能增长潜力。

1.8 小结

机器学习突破了传统编程的局限，赋予系统从经验中自我改进的能力。深度学习作为其中最具活力的分支，依托大数据、高性能计算与先进算法，正在重塑众多科技领域。理解其基本组成、问题类型与发展脉络，是掌握现代人工智能技术的关键起点。

深度学习的突破性进展得益于多个关键技术的发展与融合。其中，生成对抗网络通过生成器与判别器之间的对抗训练机制，能够合成高度逼真的数据样本，为模型训练提供了更多可能性。

在算法层面，深度强化学习将深度神经网络与强化学习框架相结合，在复杂决策任务中表现卓越，已在围棋、扑克以及雅达利系列游戏等场景中实现超越人类的表现。

面对日益庞大的模型规模，分布式训练算法应运而生，支持在成千上万块GPU上并行训练超大规模模型，极大提升了训练效率和可扩展性。

与此同时，TensorFlow、PyTorch等开源框架的普及显著降低了深度学习的研究与应用门槛，推动了技术的快速迭代与广泛落地，形成了活跃且高效的开发生态。

1.6 深度学习的实际应用成果

目前，深度学习已在诸多领域达到甚至超过人类水平，展现出强大的实际能力：

• 感知类任务：包括智能语音助手中的语音识别系统，以及在ImageNet图像分类竞赛中实现高精度的物体识别模型。
• 游戏人工智能：如击败世界冠军的AlphaGo（围棋）、DeepStack（德州扑克），以及采用DQN架构掌握多种雅达利游戏的AI代理。
• 关键行业应用：涵盖自动驾驶中的环境感知模块、医学影像的自动分析系统，以及辅助科学发现的新范式。

1.7 深度学习的核心特性

相较于传统机器学习方法，深度学习具有以下显著特征：

• 表示学习能力：模型能自动从原始数据中提取多层次、逐层抽象的特征表达，无需依赖人工设计特征，彻底摆脱了繁琐的特征工程。
• 端到端优化机制：整个系统作为一个整体进行联合训练与优化，而非分阶段独立调整各个组件。
• 从参数化向非参数化趋势演进：当数据量充足时，更倾向于使用结构灵活、拟合能力强的非参数化模型以提升性能。
• 强调经验主义与实践导向：尽管面临复杂的非凸优化挑战，仍勇于探索可行方案，并以实际效果为主要评价标准。
• 强大的开源协作生态：研究者普遍共享代码、预训练模型和工具库，促进了知识的快速传播与技术的持续创新。

1.8 总结

机器学习赋予计算机利用数据或经验来自我改进的能力。深度学习作为其重要分支，通过端到端的方式学习多层次的数据表示，在众多复杂任务中取得革命性成果。这一发展是数据资源、计算能力与算法进步三者协同推进的结果。

如今，深度学习已成为解决现实世界难题的重要工具，持续驱动科学技术向前发展。然而，伴随其广泛应用，也需认真思考其所带来的社会影响——当前最值得关注的问题并非“超级智能”的潜在威胁，而是AI自动化对就业结构的深远冲击，以及在信贷审批、司法判决等领域中算法决策可能引发的公平性缺失与偏见问题。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：个人笔记 深度学习 transform 人工神经网络 Tensor

相关提问：深度学习学习

相关内容：深度学习学习笔记