2019/12/05
《No.4: p41-p48》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第2章 大数据探索与预处理
数据归约
1 定义: 数据归约(Data Reduction): 是指在理解数据分析任务和数据本身内容的基础上,发现有用特征,缩减数据规模,在尽可能保持原始数据的前提下,最大限度的精简数据量。
2 数据归约的途径
2.1 属性选择
2.1.1 通过有意而为之的动作,从大量属性中筛选与预测目标有关的属性,删除不相关的数据。
2.1.2 是主观判断的过程,也需要技术手段来实现。
2.2 数据采样
2.2.1 定义: 通过抽样来估计总体的特征
2.2.2 许多算法(如Lasso-logit)可以很快筛选指标,但数据挖掘的过程中,还是对于业务的了解和衍生指标的加工。
2.2.3 抽样的类型
2.2.3.1 概率抽样
2.2.3.1.1 简单随机抽样
2.2.3.1.2 系统随机抽样
2.2.3.1.3 分层随机抽样
2.2.3.1.4 整体抽样
2.2.3.2 非概率抽样
2.2.3.2.1 方便抽样
2.2.3.2.2 判断抽样
2.2.3.2.3 配额抽样
2.3 衍生指标(Derived Field)的加工
2.3.1 定义: 衍生指标是指利用给定数据集中的字段,通过一些计算产生新的指标。
2.3.2 是数据分析中最具创意的部份
2.3.3 需将业务见解融入建模过程中
2.3.4 将数值转化为百分位数,如客户的理财偏好程度
2.3.5 把类别变量转换为数值: 大部份算法需要将类别型变量转换为数值型变量
2.3.6 多变量组合: 如信用评级指数
2.3.7 从时间序列中提取特征,是指在不同时间点上收集到的数据,算法如差分自回归移动平均模型(ARIMA)