数据分析师告诉你：怎样才算是大数据安全分析”架构”

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

数据分析师告诉你：怎样才算是大数据安全分析“架构”

对于大数据安全分析，可能不同企业有不同企业的定义标准。对于大数据安全分析，到底怎样的大数据安全分析才算是大数据安全分析“架构”呢？根据ESG研究公司表示，44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据”应用，而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。此外，86%的企业正在收集比两年前“更多”或“略多”的安全数据。

这种增长趋势非常明显，大型企业正在收集、处理和保存越来越多的数据用于分析，他们使用来自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供应商的工具和服务从数据中获取可操作情报用于风险管理和事故预防/检测/响应。

最近，笔者与安全专家以及供应商围绕大数据安全分析进行了很多探讨，这些讨论往往专注于分析应用程序方面。有时候这些讨论会围绕于安全分析基础设施，例如Hadoop、HDFS、Pig和Mahout，有时候则围绕UI、可视化分析、应用程序整合等。

每个人都对大数据安全分析应用程序感兴趣，但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是，很多企业会受到打击，他们甚至无法收集他们想要分析的安全数据。

收集和处理千兆或兆兆字节的安全数据需要对大数据安全分析管道进行一些规划和部署，包括如下：

数据包捕捉设备

这些设备包括来自Cavium、Emulex和Solarflare等供应商的高性能智能NIC卡，磁盘驱动器，以及来自Wireshark等供应商的PCAP软件，它们整合在一起作为数据包捕捉设备。这些设备需要足够快以捕捉和处理数据包，用于分析引擎的分类。PCAP硬件设备将出现在整个网络的关键连接点，而虚拟PCAP设备能够支持服务器虚拟化和云计算平台。

分析分布网络

数据包捕捉设备收集和处理数据，但数据仍然需要接近实时地在多个分析引擎移动。这正是分析分布网络的工作，这种系统包括来自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供应商的设备。在某些情况下，分析分布网络将补充数据包捕捉设备，在其他情况下，分析分布网络将提供轻量级PCAP功能。(请注意，用来描述这个的行业术语是“网络数据包代理设备”，但笔者认为这太以设备为中心，所以换了名称。)

SDN

SDN可编程控制平面很可能会成为穷人的分析分布网络，但SDN不会很快就抢占分配网络设备的地位。SDN将会成为分析基础设施的一部分，补充PCAP和分析分布网络功能。SDN和分析分布网络整合给网络数据捕捉和分析引擎带来了强大的连接性。

分析中间件

在很多情况下，每个分析工具收集、处理和路由其自己的数据。虽然这是可行的，但这带来了很大的冗余性、资本成本和运营开销。这里需要的是某种类型的基于标准的中间件，以进行消息队列或发布和订阅。例如，RSA Security公司使用开源RabiitMQ作为其分析引擎之间的中间件。

从架构的角度来看，企业可以采用分层的方法来部署大数据安全分析，其中分析引擎从管道中抽象出来，但可以很容易地用来定制化安全数据收集、处理和分布。这能让首席信息官、首席信息安全官和网络工程师来调整期基础设施、流程和分析引擎，满足其具体的企业和行业要求，以及管理资本和运营成本。

这里有一个很明确的教训：你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况，首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：数据分析师告诉你 数据分析师 数据分析 数据安全 分析师 数据分析师告诉你：怎样才算是大数据安全分析”架构” 数据分析师 大数据安全分析 大数据

每个人都对大数据安全分析应用程序感兴趣，但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是，很多企业会受到打击，他们甚至无法收集他们想要分析的安全数据。

在很多情况下，每个分析工具收集、处理和路由其自己的数据。虽然这是可行的，但这带来了很大的冗余性、资本成本和运营开销。

从架构的角度来看，企业可以采用分层的方法来部署大数据安全分析，其中分析引擎从管道中抽象出来，但可以很容易地用来定制化安全数据收集、处理和分布。

你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况，首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。
开发使用数据，较好的办法是通过合同协议机制来约定，规避敏感数据泄露风险，还可以采用数据脱敏技术，即通过技术手段对个人数据信息去识别化。其中姓名、性别、身高、身份证号码等都是需要重点进行脱敏处理的数据，尤其在医疗、金融、电信等领域，都包含大量这类数据信息。

但数据的知识产权问题，还需要法律界的研究。政府与企业合作数据开发项目，政府除了要处理可能涉及的个人隐私信息数据的泄露问题外，还应处理好怎样对开发后的数据定价的问题，因为这包括如何补偿开发企业的投入成本等。另外，如何避免数据被过度商业性开发利用也值得深思。

“毕竟很多公共数据都是用纳税人的钱采集的，政府不应该以此作为赚钱工具。”一位法律界人士对《财经》记者表示。

在科学数据方面，欧美国家建立了汇交、共享的开放平台和机制，同时还有科学数据的共享法律。中国还没有统一的数据中心，没有专门的管理法律，更没有建立起完备的合同协议机制，这就给个人隐私数据的后续使用、管理留下了隐患。

美国联邦政府在开放公共数据过程中，采取了阶段性逐步开放策略，根据数据被需求度、涉密度等多个因素的考虑，将数据划分为立即开放、短期内开放、计划开放、暂时无法开放四个类别。

业内专家分析称，每个国家在开放公共数据时，都受国家安全和国家利益驱动，会优先考虑所开放的数据是否会对国家政治、经济安全造成负面影响，美国也不例外。基于此，美国会将过去20年的公共数据开放，但如果涉及高精尖技术的数据，就不会开放。

北京理工大学网络法研究所研究员孟兆平认为，中国政府开放公共数据应基于开放式的数据平台，可供各种需求者使用。首先要搭建起数据中心的基本模型，再考虑如何创新与企业合作开发数据的模式，使数据平台能“自我供血”维持运营。


迫于2018年数据开放的压力，国家气象局直属企业华风气象传媒集团有限责任公司(下称华风)开始寻找战略合作者，希望借此来增强自身的数据分析能力，保持在气象数据应用方面的领先地位。

华风的对手已经隐现。2016年1月20日，阿里云宣布与国家气象局达成合作，向公众开放气象服务数据，并共同深挖气象大数据的商业价值。

此举让华风的一位项目负责人颇感意外，此次开放了国内县级以上站点实况，包含温度、湿度、风、气压、降水量、天气现象等，都是核心数据。

开放公共数据，意味着数据资源在政府、社会间实现自由流动，这是政府行为的一项重大变革，涉及部门越多、范围越大，数据开放难度也就越大。

根据ESG研究公司表示，44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据”应用，而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。

每个人都对大数据安全分析应用程序感兴趣，但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是，很多企业会受到打击，他们甚至无法收集他们想要分析的安全数据。

数据分析和挖掘部门位于科技部门，优点是直接可以了解所有数据，利用最新的大数据计算分析技术来进行数据分析和建模，数据视野好。面对全局数据建立数据采集和分析系统，系统复用程度高，降低重复投资，效率高。但是团队人员商业敏感度低，过度关注技术和架构，重视技术的领先和处理效率，数据商业敏感度低，不重视数据商业化场景，对业务理解程度不够，支持力度不如前者。

数据分析师将杂乱的数据进行整理后，将数据以不同的形式展现给产品经理、运营人员、营销人员、财务人员、业务人员等。提出基于数据的结果和分析建议，完成数据从原始到商业化应用到关键一步，数据分析师的数据敏感度、商业敏感度、分析角度、表达方式对于商业决策很重要。

随着企业对数据价值的认识越来越高，数据分析类项目也随之增加，尤其是近一段时间大数据时代的到来，数据分析已经是必不可少的内容。其中数据分析结果以报表形式呈现给用户，是各项目的重要组成部分。