南京数据分析师_物联网时代的大数据策略-经管之家官网!

人大经济论坛-经管之家 收藏本站
您当前的位置> 软件培训>>

数据分析培训

>>

南京数据分析师_物联网时代的大数据策略

南京数据分析师_物联网时代的大数据策略

发布:经管之家 | 分类:数据分析培训

关于本站

人大经济论坛-经管之家:分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!

经管之家新媒体交易平台

提供"微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯"等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

提供微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

南京数据分析师_物联网时代的大数据策略南京数据分析师:物联网时代的大数据策略,互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网 ...
扫码加入经济学习群


南京数据分析师_物联网时代的大数据策略




    南京数据分析师:物联网时代的大数据策略,互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息,海量的数据促进了云计算,分布式技术的发展,而这些技术反过来不仅推动了Web和移动互联网的革新,也推动了物联网的飞速前进。现在,我们正逐渐迈入物联网时代,实现万物互联的愿景,如果说之前人是信息生产的主体,那么或许不久的将来设备将成为主角,它们将源源不断地产生与人相关的衣食住行信息,这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据,应该采用什么样的大数据策略呢?


THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道:


“你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作,完全理解物联网方面的用例,然后寻找满足业务需求的技术。特别是,IT部门必须识别出最优的分析平台和工具,让业务用户能够获取到需要的数据,分析数据的含义并快速地做出响应。”


Gartner公司的副总裁、著名分析师 Joe Skorupa 认为:


“分布在世界各地的物联网设备将产生大量的输入数据,将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中,在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”


Patrick McFadin则在自己的博文《 物联网:数据都去了哪里? 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段:产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。


第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过HTTP、MQTT和CoAP三种常用的标准协议传递数据。HTTP通用程度高,但是它的头中包含大量冗余信息,不太适合带宽比较低的场景。MQTT基于发布/订阅模型,新的设备或者服务能够非常容易地连到中央系统上消费消息。另外,它在消息大小上比HTTP更轻量,但是缺点是不包含加密标准。CoAP适合于低功耗、低带宽的场景,与MQTT的订阅模式相比它更侧重于一对一的连接。


第二阶段则需要根据设备、网络以及功耗的限制决定是实时地收集数据还是在某个时间批量收集,同时还需要决定如何存储数据。如果是实时收集,那么必须要考虑数据库的写入速度,这对于传统的数据库而言可能是一个挑战,但是像 Cassandra 这样的NoSQL数据库却能够轻松应对。


一旦完成了数据的收集与存储,接下来就是分析了,这才是整个过程最核心的部分。此时需要考虑需要何时使用分析结果,是否需要立即或近乎实时的分析,还是仅仅需要对历史数据进行处理。越来越多的人在使用Apache Spark分析大数据,使用Spark Streaming满足近乎实时的要求,如果将这些技术与Cassandra这样的NoSQL数据库结合在一起使用,那么开发者就能够处理并分析大规模、快速移动的数据集。


那么是不是所有的物联网厂商都需要自己去构建相关的数据解决方案呢?也不尽然,在云计算的时代大可以利用云服务提供商的资源,以降低相关的成本,对小公司或初创公司更是如此。


Mike Kavis最近在自己的博文《 物联网将彻底改变你的大数据策略 》中阐述了自己的方案,他认为:


“在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略。由于缺乏相关技能以及持续增长的数据对基础设施采购的需求,企业将逐步放弃DIY模式,转而使用PaaS和托管的解决方案,借助于数据库即服务(例如Amazon的Redshift、Hortonworks和Cloudera的企业级Hadoop)、托管的大数据服务(例如Treasure Data)以及矩阵式的数据中心服务(例如GoGrid)实现自己的物联网数据分析方案。


总之,物联网的价值在于数据。企业对数据的分析工作启动地越快,挖掘出的业务价值就越多。而云服务提供商的目的就是通过加大相关的投入,消除数据收集、管理的风险以及复杂性,让客户能够专注于分析。”
「经管之家」APP:经管人学习、答疑、交友,就上经管之家!
免流量费下载资料----在经管之家app可以下载论坛上的所有资源,并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库,各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里,你可以找到任何学科方向、有共同话题的朋友。
经管之家(原人大经济论坛),跨越高校的围墙,带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
本文关键词:

人气文章

1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
经管之家 人大经济论坛 大学 专业 手机版