Python 数据分析预处理：Z-Score 标准化实战指南（附代码与应用场景）

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

在数据分析与机器学习任务中，数据预处理是提升模型性能的关键环节。其中，Z-Score 标准化（也称标准差标准化）是一种广泛使用的特征缩放技术，能够将原始数据转换为均值为 0、标准差为 1 的标准正态分布，从而有效消除不同特征之间因量纲差异带来的影响。本文将通过原理讲解、代码实现、效果验证和实际应用四个部分，详细演示如何使用 Python 完成 Z-Score 标准化。内容简洁明了，适合初学者快速掌握。

一、基本原理与适用场景

1. 基本原理说明

Z-Score 标准化通过对每个特征值减去其均值并除以标准差来完成变换，公式如下： \(z = \frac{x - \mu}{\sigma}\) 其中，\(x\) 表示原始特征值，\(\mu\) 是该特征的平均值，\(\sigma\) 为其标准差，而 \(z\) 则是标准化后的结果，即 Z 分数。 经过此操作后，所有特征的分布将被调整为均值为 0、标准差为 1 的形式，使得各特征处于相同数量级，避免某些对尺度敏感的算法（如线性回归、SVM、K-Means 等）因某一特征数值过大而产生偏差。

2. 典型应用场景

- 当所用模型对输入特征的尺度敏感时，例如神经网络、支持向量机、逻辑回归或聚类算法； - 特征之间的单位或取值范围存在显著差异，比如“年龄”（0–100）与“年收入”（0–100,000）； - 需要保留原始数据的分布形态（尤其是近似正态分布），而非简单压缩到固定区间（区别于 Min-Max 归一化）。

3. 不推荐使用的情况

- 数据本身不满足近似正态分布时，Z-Score 可能导致信息失真，此时可考虑采用 Min-Max 或鲁棒标准化方法； - 若需保留原始极值的实际意义（如金融交易金额中的绝对大小），则不宜进行此类标准化。

二、环境配置与数据准备

1. 所需工具与依赖库

| 工具 / 库 | 版本要求 | 功能描述 | |------------------|------------|------------------------------| | Python | 3.7+ | 核心运行环境 | | pandas | 1.0+ | 数据读取与结构化处理 | | numpy | 1.18+ | 数值计算，用于手动实现标准化 | | scikit-learn | 0.23+ | 提供 StandardScaler 类 | | matplotlib/seaborn | 3.0+/0.10+ | 数据可视化 | | pip | 20.0+ | 包管理工具 |

2. 安装命令

在终端执行以下指令，一键安装所需库：

pip install pandas numpy scikit-learn matplotlib seaborn

3. 数据集选择

选用 scikit-learn 自带的鸢尾花数据集（Iris），包含四个数值型特征：花萼长度、花萼宽度、花瓣长度和花瓣宽度。尽管这些特征具有相同的物理单位，但数值范围有所不同，非常适合展示标准化的效果。

# 加载数据集

from sklearn.datasets import load_iris

import pandas as pd

# 加载数据并转换为DataFrame

iris = load_iris()

X = iris.data # 特征矩阵（4个特征，150个样本）

feature_names = iris.feature_names # 特征名称

data = pd.DataFrame(X, columns=feature_names)

# 查看数据基本信息

print("标准化前数据预览：")

print(data.head())

print(f"\n数据集形状：{data.shape}") # 输出：(150, 4)

print("\n标准化前特征统计信息：")

print(data.describe().round(2)) # 保留2位小数

三、Python 实现 Z-Score 标准化（双路径方案）

方法一：手动实现（基于数学公式）

利用 numpy 计算特征的均值与标准差，并依据 Z-Score 公式进行逐元素转换。这种方式有助于深入理解标准化机制。

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

# 设置中文字体（避免中文乱码）

plt.rcParams['font.sans-serif'] = ['SimHei'] # Windows系统

# plt.rcParams['font.sans-serif'] = ['Arial Unicode MS'] # Mac系统

plt.rcParams['axes.unicode_minus'] = False

def zscore_manual(data):

"""

手动实现Z-Score标准化

:param data: 输入数据（DataFrame或numpy数组）

:return: 标准化后的数据

"""

# 计算每个特征的均值和标准差

mean = np.mean(data, axis=0) # 按列计算均值

std = np.std(data, axis=0) # 按列计算标准差（ddof=0，总体标准差）

# 避免标准差为0导致除零错误

std = np.where(std == 0, 1e-8, std)

# 套用Z-Score公式

data_standardized = (data - mean) / std

return data_standardized, mean, std

# 执行手动标准化

data_manual_std, mean_manual, std_manual = zscore_manual(data.values)

data_manual_std_df = pd.DataFrame(data_manual_std, columns=feature_names)

# 查看标准化后结果

print("\n手动标准化后数据预览：")

print(data_manual_std_df.head().round(4))

print("\n手动标准化后特征统计信息（均值≈0，标准差≈1）：")

print(data_manual_std_df.describe().round(4))

方法二：使用 Scikit-Learn 快速实现（推荐方式）

借助 scikit-learn 中的 StandardScaler 类，可以高效完成标准化流程。该方法支持 fit 和 transform 拆分操作，确保训练集与测试集使用相同的参数，便于模型部署与复用。

from sklearn.preprocessing import StandardScaler

def zscore_sklearn(data):

"""

用Scikit-Learn实现Z-Score标准化

:param data: 输入数据（DataFrame或numpy数组）

:return: 标准化后的数据、StandardScaler实例（含均值和标准差）

"""

scaler = StandardScaler() # 初始化标准化器

data_standardized = scaler.fit_transform(data) # 拟合+转换

return data_standardized, scaler

# 执行Sklearn标准化

data_sklearn_std, scaler = zscore_sklearn(data)

data_sklearn_std_df = pd.DataFrame(data_sklearn_std, columns=feature_names)

# 查看标准化后结果

print("\nSklearn标准化后数据预览：")

print(data_sklearn_std_df.head().round(4))

print("\nSklearn标准化后特征统计信息（均值≈0，标准差≈1）：")

print(data_sklearn_std_df.describe().round(4))

# 查看Scikit-Learn计算的均值和标准差

print("\nScikit-Learn计算的特征均值：")

print(pd.Series(scaler.mean_, index=feature_names).round(4))

print("\nScikit-Learn计算的特征标准差：")

print(pd.Series(scaler.scale_, index=feature_names).round(4))

两种方法的结果对比

# 验证两种方法结果一致性（误差在1e-10以内）

diff = np.abs(data_manual_std - data_sklearn_std).max()

print(f"\n两种方法结果最大误差：{diff:.10f}")

print("结论：两种方法结果一致，Scikit-Learn更高效且支持后续复用")

四、标准化效果可视化分析

为了直观评估标准化前后的变化，可通过直方图与箱线图观察数据分布的演变过程。

1. 直方图对比（保持分布趋势）

# 创建子图（2行4列，对比4个特征）

fig, axes = plt.subplots(2, 4, figsize=(16, 8))

fig.suptitle('Z-Score标准化前后特征分布对比（直方图）', fontsize=16, fontweight='bold')

# 绘制标准化前直方图

for i, feature in enumerate(feature_names):

sns.histplot(data[feature], ax=axes[0, i], bins=15, color='#2E86AB', alpha=0.7)

axes[0, i].set_title(f'标准化前：{feature}', fontsize=11)

五、实战应用：基于标准化数据的 K-Means 聚类分析

为了验证 Z-Score 标准化对聚类模型性能的影响，我们采用 K-Means 算法进行实验。由于 K-Means 对特征的尺度非常敏感，若各特征量纲差异较大，会导致距离计算偏向数值范围大的特征，从而影响聚类效果。

通过对原始数据进行标准化处理，使得所有特征具有相同的尺度（均值为 0，标准差为 1），可以有效提升聚类算法的稳定性和准确性。以下为具体实现流程与结果展示：

from sklearn.cluster import KMeans

# 1. 原始数据直接聚类

kmeans_raw = KMeans(n_clusters=3, random_state=42, n_init=10)

labels_raw = kmeans_raw.fit_predict(data)

# 2. 标准化后数据聚类

kmeans_std = KMeans(n_clusters=3, random_state=42, n_init=10)

labels_std = kmeans_std.fit_predict(data_sklearn_std)

# 3. 可视化聚类效果（用PCA降维到2D）

from sklearn.decomposition import PCA

# PCA降维

pca = PCA(n_components=2)

data_pca_raw = pca.fit_transform(data)

data_pca_std = pca.fit_transform(data_sklearn_std)

# 绘制聚类对比图

fig, axes = plt.subplots(1, 2, figsize=(16, 6))

fig.suptitle('Z-Score标准化对K-Means聚类效果的影响', fontsize=16, fontweight='bold')

# 原始数据聚类结果

sns.scatterplot(x=data_pca_raw[:, 0], y=data_pca_raw[:, 1], hue=labels_raw,

palette='viridis', s=60, alpha=0.8, ax=axes[0])

axes[0].set_title('原始数据聚类结果（尺度不一致）', fontsize=12)

axes[0].set_xlabel('PCA特征1', fontsize=11)

axes[0].set_ylabel('PCA特征2', fontsize=11)

axes[0].grid(alpha=0.3)

axes[0].legend(title='聚类编号')

# 标准化后数据聚类结果

sns.scatterplot(x=data_pca_std[:, 0], y=data_pca_std[:, 1], hue=labels_std,

palette='viridis', s=60, alpha=0.8, ax=axes[1])

axes[1].set_title('标准化后数据聚类结果（尺度统一）', fontsize=12)

axes[1].set_xlabel('PCA特征1', fontsize=11)

axes[1].set_ylabel('PCA特征2', fontsize=11)

axes[1].grid(alpha=0.3)

axes[1].legend(title='聚类编号')

plt.tight_layout()

plt.savefig('Z-Score标准化对K-Means聚类影响.png', dpi=300)

plt.show()

# 4. 定量评估聚类效果（轮廓系数）

from sklearn.metrics import silhouette_score

silhouette_raw = silhouette_score(data, labels_raw)

silhouette_std = silhouette_score(data_sklearn_std, labels_std)

print(f"\n原始数据聚类轮廓系数：{silhouette_raw:.4f}")

print(f"标准化后数据聚类轮廓系数：{silhouette_std:.4f}")

print("结论：标准化后聚类轮廓系数更高，聚类效果更优")

六、常见问题与解决方案（新手避坑指南）

1. 训练集与测试集标准化的一致性问题

常见错误：分别使用训练集和测试集独立拟合 StandardScaler，导致两者的均值与标准差不同，破坏了数据分布的一致性。

正确做法：仅使用训练集拟合并保存 StandardScaler 模型，随后将该模型应用于测试集的数据转换，确保标准化参数统一。

# 示例：训练集与测试集拆分后的标准化

from sklearn.model_selection import train_test_split

# 拆分训练集（80%）和测试集（20%）

X_train, X_test = train_test_split(data, test_size=0.2, random_state=42)

# 正确做法：用训练集拟合，同时转换训练集和测试集

scaler = StandardScaler()

X_train_std = scaler.fit_transform(X_train) # 训练集：拟合+转换

X_test_std = scaler.transform(X_test) # 测试集：仅转换（复用训练集的均值/标准差）

print("训练集标准化后均值：", np.mean(X_train_std, axis=0).round(4))

print("测试集标准化后均值：", np.mean(X_test_std, axis=0).round(4)) # 接近0但非严格0，正常现象

2. 处理标准差为零的特征

潜在风险：当某一特征的所有样本取值完全相同，其标准差为 0，在标准化过程中会出现除以零的异常。

应对策略：在预处理阶段识别此类无变异性的特征并予以剔除；或在分母中加入极小扰动值（如 1e-8）避免数值崩溃。

# 检查标准差为0的特征

std_zero_features = data.columns[data.std(axis=0) < 1e-8]

if len(std_zero_features) > 0:

print(f"需删除的无区分度特征：{list(std_zero_features)}")

data = data.drop(columns=std_zero_features) # 删除特征

3. 数据分布形态对标准化效果的影响

注意事项：Z-Score 标准化假设数据近似服从正态分布。若原始数据严重偏态或存在极端离群点，标准化后仍可能无法满足建模需求。

优化建议：可先对数据进行分布变换（例如对数变换、Box-Cox 变换等），使其更接近正态分布，再执行标准化操作。

4. 图表中文显示异常问题

典型现象：可视化图表中的中文标签显示为方框或问号。

解决方式：配置支持中文的字体，Windows 系统推荐使用 SimHei，Mac 系统可选用 Arial Unicode MS，并在绘图前设置全局字体参数。

七、进阶技巧与流程优化

1. 批量处理多个 CSV 文件

在实际项目中，常需对多个结构相似的 CSV 文件进行统一标准化处理。可通过循环读取文件、应用相同预处理器的方式实现自动化批处理，提高效率。

# 读取CSV文件并标准化

def zscore_csv(input_path, output_path):

"""

读取CSV文件，对数值型特征进行Z-Score标准化，保存结果

:param input_path: 输入CSV文件路径

:param output_path: 输出CSV文件路径

"""

# 读取数据

data = pd.read_csv(input_path)

# 筛选数值型特征

numeric_features = data.select_dtypes(include=[np.number]).columns

# 标准化数值型特征

scaler = StandardScaler()

data[numeric_features] = scaler.fit_transform(data[numeric_features])

# 保存结果

data.to_csv(output_path, index=False, encoding='utf-8-sig')

print(f"标准化完成，结果保存至：{output_path}")

return scaler

# 调用函数（替换为实际文件路径）

# scaler = zscore_csv('原始数据.csv', '标准化后数据.csv')

2. 使用 Pipeline 构建端到端机器学习流程

通过 sklearn 的 Pipeline 工具，可将数据标准化、特征工程、模型训练等多个步骤封装为一个完整流程，提升代码可维护性与复用性，同时避免数据泄露问题。

# 用Pipeline将标准化与模型训练串联（避免数据泄露）

from sklearn.pipeline import Pipeline

from sklearn.linear_model import LogisticRegression

from sklearn.metrics import accuracy_score

# 准备分类任务数据（鸢尾花数据集标签）

y = iris.target

# 拆分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(data, y, test_size=0.2, random_state=42)

# 构建Pipeline（标准化+逻辑回归）

pipeline = Pipeline([

('zscore', StandardScaler()), # 第一步：标准化

('classifier', LogisticRegression(random_state=42)) # 第二步：分类模型

])

# 训练模型（自动先对训练集标准化，再训练）

pipeline.fit(X_train, y_train)

# 预测（自动对测试集标准化，再预测）

y_pred = pipeline.predict(X_test)

# 评估效果

accuracy = accuracy_score(y_test, y_pred)

print(f"\nPipeline端到端流程准确率：{accuracy:.4f}")

可视化结果解析

直方图分析：经标准化后的数据分布趋势与原始数据保持一致，但整体分布中心平移至均值为 0，且各特征的标准差统一调整为 1，增强了可比性。

箱线图对比（统一尺度）：标准化前，各特征的数值范围差异显著（例如花瓣长度范围为 1.0–6.9，花萼宽度为 2.0–4.4）；标准化后，所有特征的取值被压缩至 [-3, 3] 区间内，实现了尺度上的完全统一。

axes[0, i].set_xlabel('')

axes[0, i].grid(alpha=0.3)

# 绘制标准化后直方图

for i, feature in enumerate(feature_names):

sns.histplot(data_sklearn_std_df[feature], ax=axes[1, i], bins=15, color='#E74C3C', alpha=0.7)

axes[1, i].set_title(f'标准化后：{feature}', fontsize=11)

axes[1, i].set_xlabel('')

axes[1, i].grid(alpha=0.3)

plt.tight_layout()

plt.savefig('Z-Score标准化前后直方图对比.png', dpi=300)

plt.show()

# 合并标准化前后数据，便于绘制箱线图

data_combined = pd.concat([

data.assign(类型='标准化前'),

data_sklearn_std_df.assign(类型='标准化后')

], ignore_index=True)

# 绘制箱线图

plt.figure(figsize=(14, 7))

sns.boxplot(x='变量', y='值', hue='类型',

data=pd.melt(data_combined, id_vars=['类型'], var_name='变量', value_name='值'),

palette=['#2E86AB', '#E74C3C'])

plt.title('Z-Score标准化前后特征箱线图对比（尺度统一）', fontsize=14, fontweight='bold')

plt.xlabel('特征名称', fontsize=12)

plt.ylabel('特征值', fontsize=12)

plt.grid(axis='y', alpha=0.3)

plt.legend(title='数据类型')

plt.tight_layout()

plt.savefig('Z-Score标准化前后箱线图对比.png', dpi=300)

plt.show()

总结

本文系统地展示了 Z-Score 标准化的实施过程及其在机器学习任务中的关键作用。通过对比标准化前后的数据分布与聚类效果，验证了其在消除量纲差异、提升模型性能方面的有效性。同时，针对实际应用中的典型问题提供了可行的解决方案，并介绍了批量处理与 Pipeline 集成等进阶实践方法，为后续数据分析工作提供了可靠的技术路径。

在数据分析与机器学习领域，Z-Score 标准化是一项关键的预处理技术，特别适用于那些对特征尺度敏感的算法模型。本文采用“原理讲解 + 两种实现方式 + 效果可视化 + 实战应用”的结构，系统性地指导你掌握 Python 中 Z-Score 标准化的核心方法。

**深入理解原理**：通过数学公式结合具体实例，清晰阐述 Z-Score 标准化的本质，帮助初学者理解为何需要进行数据标准化，以及它如何将不同量纲的数据转换到统一尺度。

**双路径代码实现**：提供两种实现方案——手动编码实现有助于深入理解底层逻辑；基于 Scikit-Learn 的实现则更高效，适合实际项目中快速部署，兼顾学习深度与应用效率。

**可视化验证效果**：利用直方图、箱线图及聚类结果对比等方式，直观展示标准化前后的数据分布变化，充分验证其在提升模型表现方面的价值。

**全面覆盖实战场景**：内容涵盖常见问题避坑指南、多特征批量处理技巧，以及与 Sklearn Pipeline 的集成方法，确保所学知识可直接应用于真实项目中。

遵循本文的操作步骤，你可以轻松完成数据的 Z-Score 标准化处理，为后续建模任务提供高质量、可比性强的数据基础。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：z-score python score 数据分析 core

相关内容：Python实战场景 Python数据处理 Python代码实战 Python数据分析