发帖
雷达卡
特征工程的核心方法与实践要点
在机器学习项目中，特征工程是决定模型性能的关键步骤。它通过对原始数据进行加工和转换，提升模型对数据规律的捕捉能力。以下是常用的处理手段及其注意事项。
[此处为图片1]数值型特征的常用处理方式
- 标准化（Z-Score）：将数据调整为均值为0、标准差为1的标准正态分布，计算公式为：
x' = (x - μ) / σ
适用于特征量纲差异大、且模型假设输入服从正态分布的场景（如线性回归、逻辑回归）。 - 归一化（Min-Max Scaling）：将数值线性压缩至[0,1]区间，公式如下：
x' = (x - x_min) / (x_max - x_min)
常用于神经网络或需要限定输入范围的算法。 - 鲁棒缩放（Robust Scaling）：基于中位数和四分位距进行变换，能够有效抵抗异常值干扰，适合含有离群点的数据集。
类别型特征编码策略
- One-Hot 编码：适用于类别数量较少（一般小于15）的情况，尤其当模型对数值敏感时（如SVM、线性模型）。
优点在于避免人为引入顺序关系；缺点是可能导致维度爆炸，尤其在高基数类别下产生稀疏矩阵。 - 标签编码（Label Encoding）：将每个类别映射为一个整数，适用于具有自然顺序的变量（如学历等级：小学=1，中学=2，大学=3）。
节省内存空间，适合决策树类模型使用；但可能误导线性模型或距离敏感模型（如KNN），误认为存在数值上的连续性。 - 频率编码（Frequency Encoding）：用类别出现的频次代替原始标签，常用于高基数特征（如用户ID、邮政编码）。
可保留统计分布信息并降低维度；但相同频率的不同类别会被视为相同，可能导致信息混淆。 - 目标编码（Target Encoding）：以目标变量的统计值（如均值）替换类别值，特别适用于分类任务中类别不平衡的问题。
能增强特征与标签的相关性；但需注意防止信息泄露——必须在交叉验证中严格隔离训练与测试集。 - 哈希编码（Hashing Encoding）：通过哈希函数将高维类别映射到固定长度向量，适用于实时系统或内存受限环境。
优势在于高效降维；但存在哈希冲突风险，且难以解释具体含义。
关键注意事项
- 树模型（如XGBoost、LightGBM）通常对编码方式不敏感，可直接处理类别型变量；而线性模型则需谨慎选择编码方式。
- 面对高基数类别特征，优先尝试频率编码或目标编码，避免One-Hot导致的维度灾难。
特征构造的意义何在？
原始数据往往无法直接反映复杂的业务逻辑。通过特征构造，可以显式地表达非线性关系、变量间交互作用以及时间周期性等深层模式，从而显著增强模型的表达能力和泛化性能。
常见的特征构造方法包括：
- 多项式特征：通过两个或多个特征相乘、平方等方式生成新的组合特征，捕捉非线性关系。
- 离散化/分箱（Binning）：将连续变量划分为若干区间，例如将年龄分为“青年”、“中年”、“老年”，有助于发现非线性趋势。
- 时间特征提取：从时间戳中解析出小时、星期几、是否节假日等周期性信息，广泛应用于流量预测、销售分析等场景。
- 统计聚合特征：按某一维度（如用户ID）进行分组后，计算其历史行为的统计量，如计数、均值、最大值、最小值、方差等。
- 交叉/组合特征：将两个特征拼接成字符串或数值相乘，挖掘潜在关联，如“城市+商品类别”的组合点击率。
特征构造中的常见陷阱
- 信息泄露：使用了未来的信息进行统计（如用全局平均目标值做编码），导致模型在训练时表现虚高，在实际部署时失效。
- 维度灾难：未加控制地进行特征交叉，导致特征空间急剧膨胀；应结合哈希技巧或降维方法缓解。
- 业务不合理：构造的特征缺乏可解释性，难以被业务方接受或落地应用。
特征选择技术
- 方差阈值法：剔除方差过低的特征，因其变化小，提供的信息有限。
- 卡方检验：评估分类特征与目标变量之间的独立性，筛选出相关性强的特征。
- 基于模型的方法：利用L1正则化（Lasso）自动实现稀疏化，或借助树模型输出的特征重要性排序进行筛选。
文本数据的特征化处理
- 词袋模型（Bag of Words）：将文本转化为词汇出现频次的向量表示，简单直观。
- TF-IDF：综合考虑词语在文档中的频率与在整个语料库中的逆文档频率，突出关键词的重要性。
- Word2Vec / GloVe：将词语嵌入为低维稠密向量，能够捕捉语义相似性，适用于深度学习模型。
缺失值的应对策略
- 删除法：若某特征缺失比例过高，或样本整体缺失严重，可考虑直接移除该字段或对应样本。
- 填充法：使用均值、中位数、众数或通过模型预测缺失值进行填补，保持数据完整性。
- 标志位法：新增一个二元变量标识原值是否缺失，帮助模型识别缺失本身可能携带的信息。
模型效果不佳时的排查思路
- 检查特征质量：分析各特征是否与目标变量具有较强的相关性。
- 重新进行特征选择：采用L1正则化或树模型重要性分析，剔除冗余或噪声特征。
- 尝试升级模型结构：引入更复杂模型（如集成学习、深度学习）以提升拟合能力。
综上所述，合理的特征工程不仅能提升模型精度，还能增强其稳定性和可解释性，是构建高质量机器学习系统的基石。
京公网安备 11010802022788号
