【学习笔记】Jeff Dean再执笔：一文看尽2019谷歌AI重大突破一一5 机器学习 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

Jeff Dean再执笔：一文看尽2019谷歌AI重大突破一一5



机器学习算法

2019 年，我们在机器学习算法与方法中的多个不同领域进行了研究。其中的一大重点，在于了解神经网络中的训练动态性质。在博文《测量神经网络的数据并行训练极限》当中，谷歌研究人员提供了一组严谨的实验结果，表明对数据并行水平的缩放（增加批量规模）能够提高模型的收敛效率（利用数据并行方法）。
相关链接：https://ai.googleblog.com/2019/03/measuring-limits-of-data-parallel.html

在测试的所有工作负载当中，我们观察到批量大小与训练速度之间存在三大通行关系：小批量对应完美伸缩（沿虚线），批量增加最终导致收益递减（非虚线），最大批量时数据并行度最高（趋势平稳）。在不同工作负载之间，过渡点往往具有很大的差异。

与将数据分布在多台计算设备中的数据并行方法相比，模型并行的扩展效果更好。GPipe 是一套采用类似于流水线式 CPU 处理器方法的库，能够显著提高模型并行化效率：当整个模型中只有一部分在处理某些数据时，则其他部分可着手处理其他数据。这种流水线方法得出的结果能够再次组合，从而模拟出规模更大的批量任务。

事实证明，机器学习模型能够获取原始输入数据并学习其对应的高级表示形式，这些表示形式最终可用于区分某些重要属性以及类别（例如猫、卡车、牛、癌症组织与正常组织等）。目前，提升机器学习算法的重点就在于鼓励其发掘这些高级表示形式，从而将学习到的能力推广到更多新的示例、问题或者领域当中。2019 年，我们结合以下几个背景对此展开研究：

在《评估无纠缠表示形式的无监督学习》论文中，我们探讨了哪些属性会影响到无监督学习中的表示形式，希望借此理解哪些因素能够成就更好的表示与学习效果。

在《预测深度神经网络中的泛化差距》论文中，我们发现可以使用边际分布的统计量来预测泛化差距（即模型利用训练分布数据得出的性能，与利用具有不同分布的实际数据得出的性能之间，存在的具体差距），帮助我们更好地了解哪些模型具有更好的泛化效果。我们还进行了一系列关于在机器学习模型中改善分布失调检测能力的研究，希望更好地了解模型从何时开始接纳从未见过的各种数据。我们还在强化学习背景之下研究了非策略分类，希望进一步了解哪些模型可被用于概括出最佳模型。

在《从稀疏与未指定奖励中学习归纳》论文中，我们研究了指定奖励函数以实现强化学习的方法，旨在使学习系统能够更直接地从真实目标中学习，且不会因时间周期过长、动作序列不当等因素造成与预期不符的结果。




AutoML

这一年中，我们继续推进 AutoML 方面的工作，旨在探索如何利用学习算法提升机器学习的整体自动化程度，同时确保某些类型的机器学习元决策能够带来比顶尖人类机器学习专家更出色的实际结果。具体包括：

在《EfficientNet：通过 AutoML 与模型绽放提高准确率与效率》论文中，我们展示了如何利用神经架构搜索技术在计算机视觉问题中获得质量显著提升的结果，即在 ImageNet 上的成绩相当于最高准确率的 84.4%，且使用参数只相当于原有最佳模型的八分之一。

模型大小与准确率比较。EfficientNet-B0 是由 AutoML MNAS 开发出的基准网络，而 Efficient-B1 到 B7 则是由该基准网络扩展而来。具体来看，EfficientNet-B7 在 ImageNet 上的成绩相当于最高准确率的 84.4%，第五高准确率的 97.1%，但参数仅相当于现有最佳 CNN 的 1/8.4。

在《EfficientNet-EdgeTPU：利用 AutoML 创建加速器优化型神经网络》论文中，我们展示了神经架构搜索方法如何找到最适合特定硬件加速器的高效模型，从而生成可在移动设备上运行的高精度、低计算量模型。

在《视频架构搜索》论文中，我们阐述了如何将 AutoML 工作扩展到视频模型领域，如何找到可实现最佳结果的架构，以及如何在使用 50 倍分辨率的情况下达成与手调模型性能相近但计算量更低的架构。

TinvVideoNet（TVN）架构一直在不断演变，希望在最大限度提高识别性能的同时，将计算时间保持在必要限制之内。例如，TVN-1（上方）在 CPU 上需要运行 37 毫秒，在 GPU 上运行 10 毫秒。而 TVN-2（下方）在 CPU 上运行 65 毫秒，在 GPU 上运行 13 毫秒。

我们还开发出可用于处理表格数据的 AutoML 技术，帮助众多企业与组织在关系数据库内发掘出新的重要数据价值，并希望基于此类数据开发新的机器学习模型。我们将这项合作开发技术以 Google Cloud AutoML Tables 的名称发布，同时讨论了该系统在 KaggleDays 表格数据端到端 AutoML 解决方案竞赛中的表现。（剧透：在与 74 支由专家组成的数据科学团队进行一番比较之后，AutoML

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

赞