K均值聚类 K-means Clustering

本文主要简单介绍了k均值聚类的基本概念，优缺点，应用场景，建模时的注意事项，评价指标，实现方法和示例，以及模型参数等。

文章共4,265字 · 阅读需要大约15分钟

一键AI生成摘要，助你高效阅读

问答

JasonH2021

6662人浏览 · 2023-06-03 07:35:00

JasonH2021 · 2023-06-03 07:35:00 发布

七、类库scikit-learn实现k均值聚类的例子

八、k均值聚类的模型参数

总结

前言

k均值聚类是机器学习中无监督学习的一种聚类算法。

一、k均值聚类是什么？

K均值聚类算法是先随机选取K个对象作为初始的聚类中心，然后计算每个对象到各个种子聚类中心之间的距离，把每个对象分配给距离最近的聚类中心。聚类中心以及被分配到的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象重新计算。不断重复这个过程，直到聚类中心不再发生变化，误差平方和局部最小为止。

二、k均值聚类的优点和缺点

优点：

算法简单，容易实现；
计算速度快，可以高效的处理大数据集，复杂度大约是O(nkt)；
算法尝试找出使平方误差函数值最小的K各划分，当簇是密集的，球状或团装的，且簇与簇之间的区别明显时，聚类效果较好；
对异常值敏感，可以用来做异常检测，但也可以通过对变量做正态分布的转换，最终得到样本量均匀的族；

缺点：

对数据类型要求较高，适合数值型数据；
可能收敛到局部最小值，在大规模数据上的收敛较慢；
分组的数目K是一个输入参数，不合适的K可能返回较差的结果，但可以通过轮廓系数和误差平方和等进行最佳K选择；
对初值的簇心值敏感，对于不同的初始值，可能会倒是不同的聚类结果；
不合适于发现非凸面形状的簇，或者大小差别很大的簇，只能形成球形的簇；
对于噪声和孤立点数据敏感，少量的该类数据能够对平均值产生极大影响；

三、k均值聚类的应用场景

K-means是一种常见的聚类算法，其应用场景包括但不限于以下几个方面：

图像分割：K-means可以用于图像分割中，将图像中的像素点聚类成不同的区域。
推荐系统：K-means可以用于推荐系统中，将用户聚类成不同的群体，从而实现个性化推荐。
市场细分：K-means可以用于市场细分中，将消费者聚类成不同的群体，从而更好地进行市场营销。
客户分类：K-means可以用于客户分类中，将客户聚类成不同的群体，从而更好地进行客户服务和管理。
医学诊断：K-means可以用于医学诊断中，将病人聚类成不同的群体，从而更好地进行疾病诊断和治疗。
文本聚类：K-means可以用于文本聚类中，将文本数据聚类成不同的主题或分类。
网络安全：K-means可以用于网络安全中，将网络流量聚类成不同的群体，从而更好地进行入侵检测和防御。
金融风险管理：K-means可以用于金融风险管理中，将资产聚类成不同的群体，从而更好地进行风险管理和投资决策。
自然语言处理：K-means可以用于自然语言处理中，将单词或短语聚类成不同的主题或分类。

四、构建k均值聚类模型的注意事项

1. K均值聚类的基本步骤包括：收集数据，清洗数据，数据转换，数据降维，数据转换，确定最有k，聚类，结果解释。

其中以下几个步骤比较关键：

数据转换：标准化，统一量纲，以满足距离计算的需要，同时提高计算速度；
数据降维：主成分分析（快速确定因子数量）和因子分析（借助因子旋转使结果更优），解决维度诅咒的问题，同时优化数据集，减少计算量，且更好的实现局部的收敛；
数据转换：确认偏度和峰度，进行正态分布转化，以避免聚类结果极端化不均衡的问题；
确定最优k：通过轮廓系数和离差平方和确定最优K
聚类结果的解释：把聚类标签反映在因子得分和原始数据上，确认各组的特征，因子数量或原始数据的变量较少的情况下，可以用决策树的树图查看各组的具体差异；

2. 在明确知道要进行聚类的样本可以分成哪些类别或角色的情况下，为了得到较好的结果，最好在采集数据的阶段就设计好，选择能够反应不同角色的由代表性的指标作为模型的变量。

五、k均值聚类模型的实现类库

Python中有多个库可以实现k均值聚类，以下是其中比较常用的几个库：

scikit-learn：scikit-learn是一个常用的Python机器学习库，它提供了KMeans类来实现K-means聚类算法。这个类可以设置聚类数量、初始化方式、迭代次数等参数。
numpy：numpy是一个常用的Python科学计算库，它提供了一些基本的线性代数函数，可以用来实现K-means聚类算法。具体来说，可以使用numpy中的矩阵运算函数来计算簇中心和样本点之间的距离。
scipy：scipy是一个常用的Python科学计算库，它提供了一些高级的数学函数，包括聚类算法。scipy中的cluster子模块提供了KMeans函数，可以用来实现K-means聚类算法。
TensorFlow：TensorFlow是一个常用的Python深度学习库，它提供了一些高级的数学函数，包括聚类算法。TensorFlow中的tf.contrib.learn模块提供了KMeansClustering函数，可以用来实现K-means聚类算法。

以上这些库都提供了丰富的接口和功能，可以满足不同场景下的需求。需要注意的是，在使用这些库时，需要根据具体情况选择合适的模型、参数和评估指标，以获得更好的预测效果。

六、k均值聚类模型的评价指标

轮廓系数（Silhouette Coefficient）：衡量一个样本聚类的紧密程度和与其他聚类的分离程度。轮廓系数的取值范围在-1到1之间，越接近1表示聚类效果越好。
Calinski-Harabasz指数：衡量聚类结果的凝聚程度和分离程度，值越大表示聚类效果越好。
Davies-Bouldin指数：衡量聚类结果的凝聚程度和分离程度，值越小表示聚类效果越好。
Jaccard系数和Rand指数：用于比较聚类结果与真实分类之间的相似性，值越大表示聚类效果越好。
模块度（Modularity）：用于评估社区发现算法的性能，常用于无向加权网络的聚类分析。
熵（Entropy）：衡量聚类结果的多样性和熵值，值越小表示聚类效果越好。
Fowlkes-Mallows指数：用于比较聚类结果与真实分类之间的相似性，值越大表示聚类效果越好。

这些指标都是用来评估聚类模型的性能的，可以根据具体情况选择使用哪个指标。需要注意的是，不同的评价指标可能会得出不同的结论，所以最好综合考虑多个指标来评估聚类模型的性能。

七、类库scikit-learn实现k均值聚类的例子

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 生成随机数据
X, y = make_blobs(n_samples=100, centers=3, random_state=42)

# 训练K-means模型
kmeans = KMeans(n_clusters=3, random_state=42)
kmeans.fit(X)

# 预测聚类结果
y_pred = kmeans.predict(X)

# 绘制聚类结果
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()

八、k均值聚类的模型参数

在sklearn.cluster模块中，KMeans模型的参数如下：

1. n_clusters：整数，表示要聚类的簇的数量。
2. init：字符串或数组，表示初始化簇中心的方法。可选值包括：
- 'k-means++'：使用K-Means++算法进行初始化。
- 'random'：随机选择数据中的样本作为初始簇中心。
- 数组：直接指定初始簇中心的坐标。
3. n_init：整数，表示运行K-Means算法的次数，每次使用不同的初始簇中心。
4. max_iter：整数，表示K-Means算法的最大迭代次数。
5. tol：浮点数，表示算法的停止阈值，当簇中心的变化小于该阈值时停止迭代。
6. precompute_distances：布尔值，表示是否提前计算距离矩阵以加速算法。
7. random_state：整数或随机数生成器，表示随机数的种子，用于初始化簇中心的随机选择。
8. algorithm：字符串，表示用于计算簇中心的算法。可选值包括：
- 'auto'：自动选择算法。
- 'full'：使用传统的EM算法。
- 'elkan'：使用Elkan的变体算法，速度更快但内存消耗更大。
9. verbose：整数，表示是否输出详细信息。
10. copy_x：布尔值，表示是否复制输入数据。
11. n_jobs：整数，表示并行计算的作业数量。
12. algorithm_params：字典，表示传递给底层算法的额外参数。