[数据挖掘新闻] 转移学习–每个人的深度学习 [推广有奖]

转移学习–每个人的深度学习
简介： 基于深度神经网络的深度学习正在创建上千家企业，但留下数以万计的企业。转移学习（TL）是一种重用以前训练有素的深度神经网络的方法，有望使所有人都可以使用这些应用程序，即使那些标签数据很少的应用程序也是如此。
基于深度神经网络的深度学习正在创建千家企业，但留下数以万计的企业。DNN的广泛问题是众所周知的。
复杂性导致成功时间延长和异常高的完全失败率。
训练需要大量的标记数据。
大量昂贵的专用计算资源。
缺乏能够创建和维护模型的数据科学家。
整个领域实际上仅在过去的两三年中才真正发展起来，并且能够克服这些缺点的企业的发展呈指数式增长。可以说，深度学习提供者社区了解并正在努力解决这些问题。
在未来的两三年内，这些可能会被克服。但是与此同时，一大批潜在用户正在受到阻挠，并延迟了获得利益的时间。
两条主要的发展途径–自动化和转移学习
对于那些想要创建自己的健壮的多对象分类器的人来说，问题最为严重。如果您成功雇用了必要的人才，并且如果您有足够的财力来购买AWS，Azure或Google云资源，那么您仍将面临复杂性和大量标记数据的主要问题。
您已经可以开始发现声称通过自动化DNN超参数调整解决了复杂性问题的公司。在这些小型创新者之后的是Google和Microsoft，他们公开制定了做同一件事的策略。
比我们遇到的任何其他算法都要多；DNN的超参数是最多样化和最复杂的。从节点数，层的数目，类型和连通性，激活功能的选择，学习率，动量，历元数和启动器的批处理大小开始。通过多个实验配置进行手工制作的要求是成本，延迟和某些系统无法训练的根本原因。
但是，对于只有少量数据和少量数据科学资源的公司来说，加入该游戏的方法是短暂的，那就是通过转移学习（TL）进行。
基础知识
如今，TL主要用于图像分类问题，但已用于视频，面部识别和文本序列类型问题，包括情感分析。
中心概念是使用更复杂但成功的预训练DNN模型，将其学习“转移”到您更简化（或同等但不更复杂）的问题上。
现有成功的预训练模型具有两个重要属性：
它的调整参数已经过测试，并被证明是成功的，从而消除了围绕设置超参数的实验。
CNN的较早或更浅的层本质上是在学习图像集的特征，例如边缘，形状，纹理等。仅CNN的最后一层或第二层正在执行最复杂的任务，将矢量化图像数据汇总为应该识别的10、100或1
TL有两种根本不同的方法，每种方法分别基于这两个属性。
创建全新模型
如果您有大量的标记数据（每类估计范围可减少1
本质上，您正在利用为使原始模型成功而进行的实验。在训练中，层数将保持固定（以及模型的整体架构）。最后的图层将针对您的特定图像集进行优化。
简化的转移学习
对于那些只有有限数量的标记数据的人来说，更常见的方法是一个好处。有报告说，每堂课只能训练100张带标签的图像，但与往常一样，效果更好。
如果您尝试仅使用少数实例来训练整个原始模型的第一种技术，那么您几乎肯定会过拟合。
在简化的TL中，仅在最后一层或两层将预训练的传递模型截断。再者，较早的浅层是已经识别并矢量化了特征的层，通常仅最后一层或两层需要更换。
截短的“特征化器”前端的输出随后被馈送到SVM或逻辑回归等标准分类器，以针对您的特定图像进行训练。
承诺
毫无疑问，简化的TL不需要大量数据或非常复杂的数据科学家，因此会吸引更多的被剥夺权利的用户。
毫不奇怪，Microsoft和Google最早推出的产品专门针对此技术。其他较小的提供者可以演示简化的和完全自动化的DNN技术。
上周，我们回顾了OneClick.AI提供的产品，其中提供了简化的TL示例，其准确率达到了90％和95％。其他人则报告了同样好的结果，但数据有限。
还可以使用Microsoft，Google和OneClick的AutoDL功能，只需将图像拖放到其平台上，即可创建无需任何代码的可部署模型。
极限
像任何自动化或大大简化的数据科学程序一样，您需要了解限制。首先，您为起点选择的预训练模型必须处理与您的图像相似的图像。
例如，在庞大的ImageNet数据库上训练的模型可以正确地对数千个对象进行分类，这可能会使您正确地将马，牛和其他家畜的特征转移到濒临灭绝的外来物种上。进行面部识别时，最好使用其他现有模型，例如VGG。
但是，尝试将ImageNet训练的DNN的特征化功能应用于更多奇异的数据可能根本无法正常工作。例如，其他人已经注意到，放射线照相或CAT扫描产生的医学成像最初是按灰度级得出的，而ImageNet中显然不存在的这些图像类型不太可能准确地特征化。其他应立即怀疑的类型可能包括科学信号数据或与现实世界不相关的图像，包括地震或多光谱图像。
基本假设是要特征化的图像中的模式存在于预训练模型的训练集中。
预训练的模型动物园
有大量的预训练模型可以用作TL的基础。从更大的宇宙中得出的简短清单包括：
乐网
亚历克斯网
过大
VGG
GoogLeNet
预网
ResNet
影像网
MS可可
所有这些都有不同版本的原始图像集供您选择。
转移学习的另一有趣应用
这可能没有太多的商业应用，但是很有趣的是，您可以使用TL来组合两个单独的经过预先训练的模型，从而获得意想不到的艺术效果。
目前，这些已通过实验应用于大多数艺术作品。该技术采用为内容选择的一个模型和为样式选择的另一个模型，并将它们组合在一起。
需要进行一些实验的是查看每个卷积和池化层，以确定您想要生成的图像具有哪种独特外观。
到底
您可以在Tensorflow或其他DL平台中单独使用，也可以通过试验上述全自动ADL产品之一开始。无论是数据还是经验，都不应阻止您将深度学习功能添加到面向客户或内部系统中。
题库