楼主: 东方祥
14686 11

人工智能、机器学习、深度学习,三者之间的同心圆关系 [推广有奖]

运营管理员

讲师

33%

还不是VIP/贵宾

-

威望
0
论坛币
174934 个
学术水平
58 点
热心指数
58 点
信用等级
50 点
经验
9690 点
帖子
170
精华
2
在线时间
420 小时
注册时间
2015-3-25
最后登录
2017-10-21

东方祥 发表于 2016-10-26 09:26:52 |显示全部楼层

理解三者之间关系的最简便方法就是将它们视觉化为一组同心圆——首先是最大的部分人工智能——然后是后来兴旺的机器学习——最后是促使当下人工智能大爆发的深度学习——在最里层。





从萧条到繁荣
自从 1956 年几个计算机科学家在达特茅斯会议上聚集并开辟了人工智能这一领域,人工智能就进入了我们的想象,并在实验研究中进行着酝酿。在过去的几十年里,人工智能以及轮番被誉为人类文明取得最美好未来的关键,或者是作为一个头脑发烧的轻率概念被扔进了科技垃圾堆中。坦白说直到 2012 年,它就这样在二者之间交杂。

过去的几年里,尤其从 2015 年开始,人工智能开始爆发了。这很大程度上与 GPU 的广泛应用有关,为了使并行处理更快、更便宜、更强大。这也与近乎无限的存储能力和各类数据洪流(所有的大数据运动)——图像、文本、交易、测绘数据,只要你说得出来——一道进行。

让我们梳理一遍计算机科学家是如何从萧条——直到 2012 年——到繁荣,开发出每天由成千上百万的人使用的应用。

人工智能——机器诠释的人类智能


回到 1956 年夏天的那场会议,人工智能先驱们的梦想是借由新兴计算机构建具有人类智力特征的复杂机器。这就是所谓的「通用人工智能(General AI)」的概念——拥有人类的所有感觉(甚至可能更多)、所有理智,像人类一样思考的神奇机器。

你已经在电影中无休止地看到过这些被我们当做朋友的机器,比如《星球大战》中的 C-3PO  以及成为人类敌人的机器——终结者。通用人工智能机器向来有充足的理由出现在电影和科幻小说中;我们不能阻止,至少现在还不行。

我们能做什么?这就到了「狭义人工智能(Narrow AI)」的概念。指的是能够将特殊任务处理得同人类一样好,或者更好的技术。狭义人工智能的相关案例比如有 Pinterest 上的图像分类、Facebook 中的人脸识别。

这些是狭义人工智能在实践中的例子。这些技术展示了人类智能的一些方面。但是如何做到的呢?那个智能来自哪里?所以接下来看第二个同心圆,机器学习。
机器学习——实现人工智能的一种方式



机器学习最基础的是运用算法来分析数据、从中学习、测定或预测现实世界某些事。所以不是手动编码带有特定指令设定的软件程序来完成某个特殊任务,而是使用大量的数据和算法来「训练」机器,赋予它学习如何执行任务的能力。

机器学习直接源自早期那帮人工智能群体,演化多年的算法包括了决策树学习(decision tree learning)、归纳逻辑编程(inductive logic programming)。其他的也有聚类(clustering)、强化学习(reinforcement learning)和贝叶斯网络(Bayesian networks)等。我们知道,这些早期机器学习方法都没有实现通用人工智能的最终目标,甚至没有实现狭义人工智能的一小部分目标。

事实证明,多年来机器学习的最佳应用领域之一是计算机视觉,尽管它仍然需要大量的手工编码来完成工作。人们会去写一些手写分类器,像是边缘检测过滤器(edge detection filters)使得程序可以识别对象的启止位置;形状检测(shape detection)以确定它是否有八条边;一个用来识别单词「S-T-O-P」的分类器。从这些手写分类器中他们开发出能够理解图像的算法,「学习」判定它是否是一个停止标志。

这很好,但还不够好。特别是有雾天气标志不完全可见的情况下,或者被树遮住了一部分。计算机视觉和图像检测直到目前都不能与人类相媲美,是因为它太过脆弱,太容易出错了。

是时间和正确的学习算法改变了这一切。

深度学习——一种实现机器学习的技术

源自最早进行机器学习那群人的另一种算法是人工神经网络(Artificial Neural Networks),它已有几十年的历史。神经网络的灵感来自于我们对大脑生物学的理解——所有神经元之间的相互连接。但是不像生物大脑中的任何神经元,可以在一定的物理距离内连接到任何其他神经元,这些人工神经网络的层、连接和数据传播方向是离散的。

比如你可以把一个图像切成一堆碎片并输入到神经网络的第一层中。然后第一层的单个神经元们将数据传递给第二层。第二层神经元将数据传给第三层,如此一直传到最后一层并输出最终结果。

每个神经元分配一个权重到它的输入——评估所执行的任务的准确或不准确。然后最终的输出由所有这些权重来确定。所以想想那个停止标志的例子。一个停止标志图像的特征被切碎并由神经元来「检查」——它的形状、它的消防红色彩、它的独特字母、它的交通标志尺寸以及和它的运动或由此带来的缺失。神经网络的任务是判定它是否为一个停止标志。这提出了一个「概率向量」,它真是一个基于权重的高度受训的猜测。在我们的例子中,系统可能有 86% 的把握认为图像是一个停止标志,7% 的把握认为这是一个限速标志,5% 的把握认为这是一只被卡在树上的风筝,等等——然后网络架构告诉神经网络结果的正确与否。

甚至这个例子都有些超前了,因为直到现在,神经网络都被人工智能研究社区避开了。自从最早的人工智能起,他们一直在做这方面研究,而「智能」成果收效甚微。问题很简单,即最基本的神经网络属于计算密集型,这并不是一个实用的方法。不过,由多伦多大学的 Geoffrey Hinton 带领的异端研究小组一直在继续相关研究工作,最终在超级计算机上运行并行算法证明了这个概念,但这是直到 GPU 被部署之后才兑现的诺言。

如果我们再回到停止标志的例子,当网络正在进行调整或者「训练」时,出现大量的错误答案,这个机会是非常好的。它需要的就是训练。它需要看到成千上万,甚至数以百万计的图像,直到神经元的输入权重被精确调整,从而几乎每一次都能得到正确答案——无论有雾没雾,晴天还是雨天。在这一点上,神经网络已经教会了自己停止标志看起来会是什么样的;或者在 Facebook 例子中就是识别妈妈的脸;或者吴恩达 2012 年在谷歌所做的猫的图片。

吴恩达的突破在于从根本上使用这些神经网络 并将它们变得庞大,增加了层数和神经元的数量,然后通过系统运行大量的数据来训练它。吴恩达使用了 1000 万个 YouTube 视频的图像。他将「深度」运用在深度学习中,这就描述了这些神经网络的所有层。

如今,在一些场景中通过深度学习训练机器识别图像,做得比人类好,从识别猫咪到确定血液中的癌症指标和磁共振成像扫描中的肿瘤指标。谷歌的 AlphaGo 学会了游戏,并被训练用于 Go 比赛。通过反复与自己对抗来调整自己的神经网络。

感谢深度学习,让人工智能有一个光明的未来。

深度学习 已经实现了许多机器学习方面的实际应用和人工智能领域的全面推广。深度学习解决了许多任务让各种机器助手看起来有可能实现。无人驾驶机车、更好的预防医疗,甚至是更好的电影推荐,如今都已实现或即将实现。人工智能在当下和未来。有了深度学习,人工智能甚至可以达到我们长期所想象的科幻小说中呈现的状态。我拿走你的 C-3PO,你可以留着终结者。



一、大数据分析的五个基本方面

1.可视化分析

大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。


2.数据挖掘算法

大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。


3.预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。


4.语义引擎

大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需求,从而实现更好的用户体验和广告匹配。


5.数据质量和数据管理

大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。


二、如何选择适合的数据分析工具


要明白分析什么数据,大数据要分析的数据类型主要有四大类:


1.交易数据(TRANSACTIONDATA)

大数据平台能够获取时间跨度更大、更海量的结构化交易数据,这样就可以对更广泛的交易数据类型进行分析,不仅仅包括POS或电子商务购物数据,还包括行为交易数据,例如Web服务器记录的互联网点击流数据日志。


2.人为数据(HUMAN-GENERATEDDATA)

非结构数据广泛存在于电子邮件、文档、图片、音频、视频,以及通过博客、维基,尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。


3.移动数据(MOBILE DATA)

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件,从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。


4.机器和传感器数据(MACHINEAND SENSOR DATA)

这包括功能设备创建或生成的数据,例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信,还可以自动向中央服务器传输数据,这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型,连续监测预测性行为(如当传感器值表示有问题时进行识别),提供规定的指令(如警示技术人员在真正出问题之前检查设备)。


三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师


随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。


这3个职业具体有什么职责


数据科学家的工作职责:数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据,还要找出丰富的数据源,整合其他可能不完整的数据源,并清理成结果数据集。新的竞争环境中,挑战不断地变化,新数据不断地流入,数据科学家需要帮助决策者穿梭于各种分析,从临时数据分析到持续的数据交互分析。当他们有所发现,便交流他们的发现,建议新的业务方向。他们很有创造力的展示视觉化的信息,也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss,从而影响产品,流程和决策。


数据工程师的工作职责:分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。


大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。


根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。


与传统的数据分析师相比,互联网时代的数据分析师面临的不是数据匮乏,而是数据过剩。因此,互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是,互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。


就行业而言,数据分析师的价值与此类似。就新闻出版行业而言,无论在任何时代,媒体运营者能否准确、详细和及时地了解受众状况和变化趋势,都是媒体成败的关键。


此外,对于新闻出版等内容产业来说,更为关键的是,数据分析师可以发挥内容消费者数据分析的职能,这是支撑新闻出版机构改善客户服务的关键职能。


大数据分析师需要掌握的技能


1.懂业务。从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。


2.懂管理。一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。


3.懂分析。指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。


4.懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。


5.懂设计。懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。


四、从菜鸟成为数据科学家的 9步养成方案


首先,各个公司对数据科学家的定义各不相同,当前还没有统一的定义。但在一般情况下,一个数据科学家结合了软件工程师与统计学家的技能,并且在他或者她希望工作的领域投入了大量行业知识。


大约90%的数据科学家至少有大学教育经历,甚至到博士以及获得博士学位,当然,他们获得的学位的领域非常广泛。一些招聘者甚至发现人文专业的人们有所需的创造力,他们能教别人一些关键技能。


因此,排除一个数据科学的学位计划(世界各地的著名大学雨后春笋般的出现着),你需要采取什么措施,成为一个数据科学家?


复习你的数学和统计技能。一个好的数据科学家必须能够理解数据告诉你的内容,做到这一点,你必须有扎实的基本线性代数,对算法和统计技能的理解。在某些特定场合可能需要高等数学,但这是一个好的开始场合。


了解机器学习的概念。机器学习是下一个新兴词,却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值,并且无需显式编程。


学习代码。数据科学家必须知道如何调整代码,以便告诉计算机如何分析数据。从一个开放源码的语言如python那里开始吧。


了解数据库、数据池及分布式存储。数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。如果当你建设你的数据存储时没有整体架构或者超前规划,那后续对你的影响将十分深远。


学习数据修改和数据清洗技术。数据修改是将原始数据到另一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。两者都是数据科学家工具箱中的必备工具。


了解良好的数据可视化和报告的基本知识。你不必成为一个平面设计师,但你确实需要深谙如何创建数据报告,便于外行的人比如你的经理或CEO可以理解。


添加更多的工具到您的工具箱。一旦你掌握了以上技巧,是时候扩大你的数据科学工具箱了,包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。


练习。在你在新的领域有一个工作之前,你如何练习成为数据科学家?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据科学家、参加训练营、志愿者或实习生。最好的数据科学家在数据领域将拥有经验和直觉,能够展示自己的作品,以成为应聘者。


成为社区的一员。跟着同行业中的思想领袖,阅读行业博客和网站,参与,提出问题,并随时了解时事新闻和理论。




学习交流:
如果你对学习数据分析、机器学习、深度学习人工智能感兴趣,欢迎来CDA数据分析社区流学习,我会在群里发布所有与人工智能和深度学习有关的有趣文章。CDA社区QQ群:346390869


支持楼主:购买VIP购买贵宾 购买后,论坛将把您花费的资金全部奖励给楼主,以表示您对TA发好贴的支持
 
载入中......
linkling 发表于 2017-2-19 11:22:43 |显示全部楼层
不会任何编程语言可以学习吗?
已有 1 人评分论坛币 收起 理由
zhuosn + 5 精彩帖子

总评分: 论坛币 + 5   查看全部评分

回复

使用道具 举报

雨水一盒。 发表于 2017-3-13 02:37:27 |显示全部楼层
是随到随学吗?
现在还可以拼团吗
回复

使用道具 举报

东方祥 发表于 2017-3-13 09:13:47 |显示全部楼层
雨水一盒。 发表于 2017-3-13 02:37
是随到随学吗?
现在还可以拼团吗
您好,视频学习随到随学。您加一下微信吧!
回复

使用道具 举报

cindy夹心 发表于 2017-3-18 06:29:10 |显示全部楼层
看目录就知道这些最近好火
回复

使用道具 举报

黄岩岛主 发表于 2017-3-19 16:44:21 |显示全部楼层
话说这年头有没有免费的资源啊
回复

使用道具 举报

东方祥 发表于 2017-3-20 11:28:04 |显示全部楼层
黄岩岛主 发表于 2017-3-19 16:44
话说这年头有没有免费的资源啊
关注公众号:AIU人工智能
回复

使用道具 举报

降熊十八涨 发表于 2017-6-10 17:14:33 |显示全部楼层
学习下,这个好
回复

使用道具 举报

xia_yu 发表于 2017-6-12 17:07:57 |显示全部楼层
现在成团了吗?
回复

使用道具 举报

阿莫西林 发表于 2017-7-28 23:30:38 |显示全部楼层
现在还可以拼吗?怎么参加?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2017-10-22 14:36