数据分析师告诉你：怎样才算是大数据安全分析”架构”-经管之家官网！

扫码加入数据分析学习群

数据分析师告诉你：怎样才算是大数据安全分析“架构”

对于大数据安全分析，可能不同企业有不同企业的定义标准。对于大数据安全分析，到底怎样的大数据安全分析才算是大数据安全分析“架构”呢？根据ESG研究公司表示，44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据”应用，而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。此外，86%的企业正在收集比两年前“更多”或“略多”的安全数据。

这种增长趋势非常明显，大型企业正在收集、处理和保存越来越多的数据用于分析，他们使用来自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供应商的工具和服务从数据中获取可操作情报用于风险管理和事故预防/检测/响应。

最近，笔者与安全专家以及供应商围绕大数据安全分析进行了很多探讨，这些讨论往往专注于分析应用程序方面。有时候这些讨论会围绕于安全分析基础设施，例如Hadoop、HDFS、Pig和Mahout，有时候则围绕UI、可视化分析、应用程序整合等。

每个人都对大数据安全分析应用程序感兴趣，但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是，很多企业会受到打击，他们甚至无法收集他们想要分析的安全数据。

收集和处理千兆或兆兆字节的安全数据需要对大数据安全分析管道进行一些规划和部署，包括如下：

数据包捕捉设备

这些设备包括来自Cavium、Emulex和Solarflare等供应商的高性能智能NIC卡，磁盘驱动器，以及来自Wireshark等供应商的PCAP软件，它们整合在一起作为数据包捕捉设备。这些设备需要足够快以捕捉和处理数据包，用于分析引擎的分类。PCAP硬件设备将出现在整个网络的关键连接点，而虚拟PCAP设备能够支持服务器虚拟化和云计算平台。

分析分布网络

数据包捕捉设备收集和处理数据，但数据仍然需要接近实时地在多个分析引擎移动。这正是分析分布网络的工作，这种系统包括来自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供应商的设备。在某些情况下，分析分布网络将补充数据包捕捉设备，在其他情况下，分析分布网络将提供轻量级PCAP功能。(请注意，用来描述这个的行业术语是“网络数据包代理设备”，但笔者认为这太以设备为中心，所以换了名称。)

SDN

SDN可编程控制平面很可能会成为穷人的分析分布网络，但SDN不会很快就抢占分配网络设备的地位。SDN将会成为分析基础设施的一部分，补充PCAP和分析分布网络功能。SDN和分析分布网络整合给网络数据捕捉和分析引擎带来了强大的连接性。

分析中间件

在很多情况下，每个分析工具收集、处理和路由其自己的数据。虽然这是可行的，但这带来了很大的冗余性、资本成本和运营开销。这里需要的是某种类型的基于标准的中间件，以进行消息队列或发布和订阅。例如，RSA Security公司使用开源RabiitMQ作为其分析引擎之间的中间件。

从架构的角度来看，企业可以采用分层的方法来部署大数据安全分析，其中分析引擎从管道中抽象出来，但可以很容易地用来定制化安全数据收集、处理和分布。这能让首席信息官、首席信息安全官和网络工程师来调整期基础设施、流程和分析引擎，满足其具体的企业和行业要求，以及管理资本和运营成本。

这里有一个很明确的教训：你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况，首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP