发帖
雷达卡
大数据的来历历史
这里引入一个关于沃尔玛的小故事，即著名的“啤酒与尿不湿”案例。
作为全球最大的零售连锁企业之一，沃尔玛拥有世界上最先进的数据仓库系统之一。为了深入了解顾客在门店的购买习惯，沃尔玛对其顾客的购物行为进行了购物篮关联规则分析，以确定哪些商品经常被一起购买。通过分析其所有门店的详细原始交易数据，沃尔玛使用数据挖掘工具发现了令人惊讶的结果：“与尿不湿一起购买最多的商品竟然是啤酒”！这一结果反映了数据的内在规律，但是否符合实际情况，是否有实际价值呢？
为了验证这一结果，沃尔玛派遣市场调查人员和分析师进行了深入调查。经过大量实际调查和分析，他们揭示了一种隐藏在美国消费者中的行为模式：在美国，许多年轻父亲下班后会去超市购买婴儿尿不湿，其中30%至40%的人还会顺便为自己买一些啤酒。这种现象的原因是：妻子们常常叮嘱丈夫下班后为孩子买尿不湿，而丈夫们在购买尿不湿后又会带上他们喜欢的啤酒。另一种情况是，丈夫们在购买啤酒时突然记起自己的责任，再去买尿不湿。鉴于尿不湿与啤酒经常一起被购买，沃尔玛决定在其所有门店中将这两种商品并排放置，结果是尿不湿和啤酒的销量均有所增长。这一发现展示了大数据的应用潜力。
三大信息浪潮
信息爆炸的时代推动了大数据的产生。
硬件水平的升级
CPU的处理速度大幅提升，存储设备的容量不断增加。
数据产生方式变革
大数据概念
大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。它需要新的处理模式来增强决策力、洞察发现力和流程优化能力。大数据通常具有以下五个特点（由IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
随着数据采集硬件和软件技术的升级，我们采集和记录的信息越来越丰富，不仅包括文字和数字，还包括声音、图片、视频、3D视频等多种形式。数据结构也从传统的关系型结构化数据转向非结构化数据。随着智能硬件的普及，我们记录的数据越来越多样且即时，这些都构成了大数据的典型特征。
大数据已经渗透到我们的生活中，包括金融、汽车、零售、餐饮、电信、能源、政务等多个行业都已融入大数据的应用。
大数据安全
随着大数据时代的到来，各行业的数据规模迅速增长至TB级别，拥有高价值数据源的企业在大数据产业链中占据核心地位。在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，防止信息泄露和非法篡改，已成为政府机构和事业单位信息化健康发展的重要问题。大数据安全的防护技术包括：数据资产梳理（敏感数据、数据库等的管理）、数据库加密（核心数据存储加密）、数据库安全运维（防止运维人员的恶意和高危操作）、数据脱敏（敏感数据匿名化）、数据库漏洞扫描（数据安全脆弱性检测）等。
根据《中华人民共和国数据安全法》第十四条，国家实施大数据战略，推进数据基础设施建设，鼓励和支持数据在各行业、各领域的创新应用。在数字经济快速发展的背景下，如何开展数据安全治理，提升全社会的“安全感”，已成为普遍关注的问题。
京公网安备 11010802022788号
