【每天一个AI小知识】：什么是K均值聚类？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

餐厅老板的“智慧分区”

老李经营着一家大型餐厅，随着生意日渐兴隆，他遇到了一个甜蜜的烦恼：顾客越来越多，如何合理安排座位成为了一个大问题！

第一天：顾客随意坐

顾客随意选择座位，结果导致一家人被分散在不同的桌子上，孩子们因为不能靠近父母而哭闹。

第二天：相似的人坐一起

老李决定采取措施，让相似类型的顾客坐在同一区域。他观察到：

• 情侣们倾向于选择安静的角落
• 家庭聚餐需要较大的桌子
• 商务人士更喜欢靠窗的位置
• 学生群体则喜欢热闹的区域

第三天：优化服务

为了进一步提升服务质量，老李在每个区域设置了一个“服务员中心点”，专门负责该区域的顾客。这样不仅能够迅速响应顾客的需求，还能让服务员更加熟悉自己区域的常客。

核心概念：物以类聚，数据分组的艺术

2.1 什么是K均值聚类？

K均值聚类（K-Means Clustering）是一种无监督学习算法，由Stuart Lloyd于1957年提出。其目的是将n个数据点划分为k个簇（Cluster），确保同一个簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不同。

2.2 算法的核心思想

K均值聚类就像是一个数据整理专家，其工作流程包括以下几个步骤：

• 先画圈子：随机选择k个点作为初始“圈子中心”（质心）
• 拉人入伙：每个数据点加入最近的圈子
• 重新定位：根据新成员重新计算圈子中心
• 重复优化：不断重复上述过程，直到圈子稳定

2.3 关键术语解释

K值（簇的数量）

K值表示你想将数据分成多少个组，类似于餐厅老板需要决定将餐厅分成多少个用餐区域。K值需要提前指定，是算法的一个超参数。

质心（Centroid）

每个簇的“中心点”，代表该簇的平均位置，类似于每个用餐区域的“服务台”位置。计算公式为簇内所有点的坐标平均值。

距离度量

通常使用欧式距离（直线距离）来衡量数据点之间的相似性，类似于测量顾客到服务台的实际步行距离。

距离 = √[(x?-x?)? + (y?-y?)?]

案例：披萨店客户分群

3.1 原始数据

假设你是一家披萨店的老板，希望更好地了解客户群体。你收集了客户的两个关键数据：月消费金额（横轴）和到店频次（纵轴）。

客户A：消费200元，到店2次
客户B：消费50元，到店8次  
客户C：消费180元，到店3次
客户D：消费60元，到店9次
客户E：消费220元，到店1次
客户F：消费40元，到店10次

3.2 数据可视化

将这些客户绘制在坐标系中，可以发现自然的分组：

• 高消费低频组：A、C、E（右上角）
• 低消费高频组：B、D、F（左下角）

3.3 商业洞察

通过K均值聚类，你可以发现三类客户：

• VIP客户：高消费但频次低 → 推出会员积分制
• 忠实粉丝：低消费但高频 → 提供套餐优惠
• 普通客户：介于两者之间 → 定期促销活动

算法工作原理详解

第一步：初始化质心

类似于餐厅老板先随机指定几个“临时服务区中心”。

# 伪代码示例
import numpy as np

def initialize_centroids(X, k):
    """随机初始化k个质心"""
    n_samples = X.shape[0]
    random_indices = np.random.choice(n_samples, k, replace=False)
    centroids = X[random_indices]
    return centroids

第二步：分配数据点到最近质心

类似于每个顾客选择离自己最近的服务台就餐。

def assign_clusters(X, centroids):
    """为每个数据点分配最近的质心"""
    distances = np.sqrt(((X - centroids[:, np.newaxis])**2).sum(axis=2))
    cluster_labels = np.argmin(distances, axis=0)
    return cluster_labels

第三步：更新质心位置

类似于根据每个区域实际就餐的顾客分布，重新调整服务台位置。

def update_centroids(X, cluster_labels, k):
    """更新质心位置"""
    new_centroids = np.array([X[cluster_labels == i].mean(axis=0) 
                              for i in range(k)])
    return new_centroids

第四步：迭代优化

重复第二步和第三步，直到满足停止条件，例如质心不再变化、变化小于某个阈值或达到最大迭代次数。目标函数收敛，即WCSS（Within-Cluster Sum of Squares）不再显著改善。

损失函数：WCSS的奥秘

5.1 什么是WCSS？

WCSS（簇内平方和）是K均值聚类的目标函数，计算公式如下：

WCSS = Σ(i=1 to k) Σ(x∈Ci) ||x - μi||?

其中，k表示簇的数量，Ci表示第i个簇，x表示簇Ci中的数据点，μi表示第i个簇的质心，||x - μi||表示数据点到质心的欧式距离平方。

5.2 WCSS的直观理解

想象每个簇是一个“朋友圈”：

• WCSS小：朋友圈很紧密，大家都很像
• WCSS大：朋友圈很松散，差异很大

算法的目标是：最小化所有簇的WCSS总和！

5.3 WCSS的数学性质

• 非凸函数：存在多个局部最优解
• 单调递减：每次迭代WCSS不会增加
• 收敛保证：算法最终会收敛到某个局部最优

K值选择：肘部法则与轮廓系数

6.1 肘部法则（Elbow Method）

原理：随着K值增加，WCSS会逐渐减小，但减小的幅度会经历一个“拐点”。操作步骤包括：

• 尝试不同的K值（1-10）
• 计算每个K值对应的WCSS
• 绘制K-WCSS曲线
• 选择“肘部”位置的K值

def elbow_method(X, max_k=10):
    """肘部法则选择最优K值"""
    wcss_list = []
    
    for k in range(1, max_k + 1):
        kmeans = KMeans(n_clusters=k, random_state=42)
        kmeans.fit(X)
        wcss_list.append(kmeans.inertia_)
    
    # 绘制肘部曲线
    plt.figure(figfigsize=(10, 6))
    plt.plot(range(1, max_k + 1), wcss_list, 'bo-')
    plt.xlabel('K值')
    plt.ylabel('WCSS')
    plt.title('肘部法则选择最优K值')
    plt.grid(True, alpha=0.3)
    plt.show()
    
    return wcss_list

6.2 轮廓系数（Silhouette Score）

原理：衡量每个点的聚类质量，考虑两个因素：a(i)表示与同簇其他点的平均距离（紧密度），b(i)表示与最近簇所有点的平均距离（分离度）。计算公式如下：

s(i) = [b(i) - a(i)] / max{a(i), b(i)}

解释：

• s(i) ≈ 1：聚类效果很好
• s(i) ≈ 0：点在簇边界上
• s(i) ≈ -1：点可能被分错了簇

实际应用场景

1. 客户细分（Customer Segmentation）

业务背景：电商公司希望更好地了解客户群体。应用方式包括：

• 特征选择：购买频次、平均订单金额、最近购买时间
• 聚类结果：高价值客户、潜力客户、流失客户、新客户
• 营销策略：针对不同群体制定个性化营销方案

2. 图像压缩（Image Compression）

原理：将相似颜色的像素聚类，用簇中心颜色替代原像素颜色。效果：大幅减少颜色数量，实现图像压缩。

异常检测（Anomaly Detection）

原理： 正常的数据通常会形成密集的集群，而异常数据则远离这些集群的中心。

应用： 该技术广泛应用于信用卡欺诈检测、网络入侵监测以及设备故障预测等领域。

文档聚类（Document Clustering）

应用背景： 自动分类新闻网站的内容、对搜索引擎的结果进行分组、整理学术论文等。

技术要点：

• TF-IDF向量化： 将文本内容转化为数值型特征。
• 降维处理： 利用PCA或t-SNE等技术降低数据的维度。
• 聚类分析： 用于揭示文档的主题结构。

优缺点深度分析

显著优势

1. 简单高效： K-means算法的概念直观且易于实现，其计算复杂度相对较低，大约为O(tkn)，其中t代表迭代次数。
2. 可扩展性强： 适用于处理大规模的数据集，能够处理高维数据（尽管可能需要预处理）。
3. 结果可解释性好： 每个聚类都有一个明确的中心点表示，使得聚类结果易于理解和解释。
4. 理论基础扎实： 算法具有明确的目标函数（如最小化WCSS），并且算法的收敛性在数学上有保障。

主要局限

1. 需要预先确定K值： K值的选择对最终的聚类结果影响重大，但在实际应用中，K值通常是未知的。
2. 对初始中心点敏感： 不同的初始中心点可能导致不同的局部最优解，即使使用了K-means++改进方法，这一问题仍然存在。
3. 假设聚类为球形： 由于K-means是基于距离度量的算法，因此它假定聚类是凸形的，对于非球形的聚类效果不佳。
4. 对异常值敏感： 异常值可能会显著影响中心点的位置，从而导致聚类结果失真。

完整实战代码

基础K-means实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.preprocessing import StandardScaler

class SimpleKMeans:
    """从零实现的K-means聚类算法"""
    
    def __init__(self, n_clusters=3, max_iter=300, tol=1e-4, random_state=None):
        self.n_clusters = n_clusters
        self.max_iter = max_iter
        self.tol = tol
        self.random_state = random_state
        
    def _initialize_centroids(self, X):
        """随机初始化质心"""
        if self.random_state:
            np.random.seed(self.random_state)
        
        n_samples = X.shape[0]
        random_indices = np.random.choice(n_samples, self.n_clusters, replace=False)
        return X[random_indices].copy()
    
    def _calculate_distances(self, X, centroids):
        """计算所有点到所有质心的距离"""
        distances = np.zeros((X.shape[0], self.n_clusters))
        for i, centroid in enumerate(centroids):
            distances[:, i] = np.linalg.norm(X - centroid, axis=1)
        return distances
    
    def _assign_clusters(self, distances):
        """为每个点分配最近的质心"""
        return np.argmin(distances, axis=0)
    
    def _update_centroids(self, X, labels):
        """更新质心位置"""
        new_centroids = np.zeros((self.n_clusters, X.shape[1]))
        for i in range(self.n_clusters):
            cluster_points = X[labels == i]
            if len(cluster_points) > 0:
                new_centroids[i] = cluster_points.mean(axis=0)
            else:
                # 处理空簇情况
                new_centroids[i] = X[np.random.choice(X.shape[0])]
        return new_centroids
    
    def fit(self, X):
        """训练K-means模型"""
        # 初始化质心
        self.centroids_ = self._initialize_centroids(X)
        
        for iteration in range(self.max_iter):
            # 存储旧质心
            old_centroids = self.centroids_.copy()
            
            # 计算距离并分配簇
            distances = self._calculate_distances(X, self.centroids_)
            self.labels_ = self._assign_clusters(distances)
            
            # 更新质心
            self.centroids_ = self._update_centroids(X, self.labels_)
            
            # 检查收敛
            centroid_shift = np.linalg.norm(self.centroids_ - old_centroids)
            if centroid_shift < self.tol:
                print(f"算法在第{iteration + 1}次迭代后收敛")
                break
        
        # 计算最终的WCSS
        distances = self._calculate_distances(X, self.centroids_)
        self.inertia_ = np.sum(np.min(distances, axis=1) ** 2)
        
        return self

# 生成测试数据
X, true_labels = make_blobs(n_samples=300, centers=4, cluster_std=1.0, 
                           center_box=(-10.0, 10.0), random_state=42)

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 训练模型
kmeans = SimpleKMeans(n_clusters=4, random_state=42)
kmeans.fit(X_scaled)

print(f"WCSS: {kmeans.inertia_:.2f}")
print(f"质心位置:\n{kmeans.centroids_}")

总结与思考

K-means的哲学思想

1. 物以类聚，人以群分： 相似的事物倾向于聚集在一起，通过数学手段可以揭示数据的内部结构。
2. 中心引力法则： 每个聚类都有一个“中心”作为引力源，数据点会被最近的中心“吸引”。
3. 迭代优化思想： 从初步解决方案开始，逐步进行优化，即使达到的是局部最优，也往往是解决问题的有效方式。

算法精髓

K-means就像是数据世界的“整理专家”：它无需依赖标签，能够自主发现数据中的模式；它追求内在的有序性，让相似的数据聚集；它在简洁与效率之间找到平衡，用中心点来代表整个群体。

适用场景指南

K-means表现优秀的场景：

• 数据分布呈现球形或凸形。
• 各个聚类的规模相对均衡。
• 需要快速且可解释的聚类结果。
• 数据维度适中（小于50维）。

K-means不适用的场景：

• 聚类形状复杂或非凸形。
• 数据中存在大量的异常值。
• 不同聚类之间的规模差异巨大。
• 处理高维稀疏数据。

学习感悟

K-means聚类算法教导我们：简单的力量是巨大的——复杂的模式识别可以通过简单的迭代过程实现；中心点的思想使我们能够用少量的信息代表大量的数据；即使没有标签，数据本身也能讲述它的故事；在现实世界中，足够好的解决方案往往就是最佳的。在当前追求复杂算法的趋势下，K-means提醒我们，简洁优雅的方法往往最具威力！

希望这篇关于K-means聚类的详细解析能够帮助你更深入地理解这一经典算法。请记住，最好的聚类算法并不是最复杂的，而是最能揭示数据背后隐藏故事的算法！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Segmentation compression Clustering Processing Matplotlib