K-means算法

• 概述
• 主要思想
• 优点与缺点
• 代码实现

概述

K-means算法是一种常见的无监督学习算法，其目的是将一组数据点分成K个簇，每个簇的数据点与其它簇的数据点相似度较低。这个算法可以用于许多领域，例如数据挖掘、图像处理和自然语言处理等。

主要思想

1.初始化K个簇中心，可以随机选择数据集中的K个点。
2.将每个数据点分配到距离最近的簇中心所在的簇。
3.对于每个簇，重新计算簇中心的位置。
4.重复步骤2和步骤3，直到簇中心不再变化或达到最大迭代次数为止。

优点与缺点

K-means算法的优点在于简单易懂、计算效率高、可解释性强，并且对于一些数据集，其聚类效果较好。但是，K-means算法需要事先确定聚类数量K，并且对于不同的K值可能会得到不同的聚类结果，因此在使用K-means算法时需要根据实际问题对K值进行合理选择。此外，K-means算法对噪声和异常值比较敏感。

代码实现

import numpy as npclass KMeans:def __init__(self, k=3, max_iter=100):self.k = kself.max_iter = max_iterdef fit(self, X):# 随机初始化聚类中心self.centroids = X[np.random.choice(len(X), self.k, replace=False)]# 迭代for i in range(self.max_iter):# 初始化聚类簇clusters = [[] for _ in range(self.k)]# 遍历每个数据点for x in X:# 计算数据点到每个聚类中心的距离distances = [np.linalg.norm(x - c) for c in self.centroids]# 将数据点分配到距离最近的聚类中心所在的簇中cluster_idx = np.argmin(distances)clusters[cluster_idx].append(x)# 保存上一次迭代的聚类中心prev_centroids = self.centroids# 重新计算每个聚类簇的中心self.centroids = [np.mean(cluster, axis=0) if cluster else prev_centroids[i] for i, cluster in enumerate(clusters)]# 判断聚类中心是否变化if np.allclose(prev_centroids, self.centroids):break# 返回聚类中心、聚类簇和实际迭代次数return self.centroids, clusters, i+1

上面的代码使用了NumPy库来进行向量计算。在这个实现中，KMeans类有两个参数：k是聚类数量，max_iter是最大迭代次数。fit方法用于训练模型，其中X是一个n×dn \times dn×d的矩阵，表示nnn个ddd维数据点。该方法返回三个值：centroids表示聚类中心，clusters是一个长度为k的列表，每个元素是一个聚类簇中的数据点集合，i+1是实际迭代次数。

在fit方法中，我们首先随机初始化k个聚类中心，然后重复以下步骤，直到簇中心不再变化或达到最大迭代次数：

1.遍历每个数据点，将其分配到距离最近的聚类中心所在的簇中。
2.重新计算每个聚类簇的中心。
最后，我们返回计算得到的聚类中心和聚类簇。