1. K-Means
min Σᵢ Σ_{x∈Cᵢ} ||x − μᵢ||²
划分法,将 n 个样本分成 K 个簇,使类内平方和最小。
迭代过程:随机初始化中心 → 分配样本 → 更新中心 → 重复直至收敛。
优点:
简单快速,适合球形簇。
缺点:
需预设 K,对初始化敏感,不适于非凸形状。
2. K-Medoids (PAM)
min Σᵢ Σ_{x∈Cᵢ} d(x, mᵢ)
与 K-Means 类似,但用实际样本点(medoid)作为簇中心,而非均值。
优点:
对异常值鲁棒,可使用任意距离。
缺点:
计算量比 K-Means 大。
3. 层次聚类 (Hierarchical Clustering)
Agglomerative: 逐步合并最近的两簇
自底向上构建聚类树(dendrogram),无需预设 K。
常用 linkage:single(单链)、complete(全链)、average(平均)、Ward(沃德)。
优点:
无需预设 K,输出层次结构,可切树得任意 K。
缺点:
O(n³) 复杂度,大数据慢;一旦合并不可撤销。
4. DBSCAN
核心点: |Nε(p)| ≥ MinPts
基于密度的方法,将密集区域的点连成簇,稀疏区域标记为噪声。
ε 为邻域半径,MinPts 为最小点数。
优点:
自动确定簇数,发现任意形状簇,识别噪声。
缺点:
对参数敏感,不适应密度差异大的数据。
5. 高斯混合模型 (GMM)
p(x) = Σₖ πₖ · N(x | μₖ, Σₖ)
假设数据由多个高斯分布混合生成,用 EM 算法估计参数。
输出每个样本属于各簇的后验概率(软分类)。
优点:
软分类,概率框架,可处理椭圆簇。
缺点:
需预设 K,对初始化敏感,可能收敛到局部最优。
6. 谱聚类 (Spectral Clustering)
L = D − W → 取前 K 个特征向量 → K-Means
构建相似图,计算图拉普拉斯矩阵 L 的特征向量,在低维嵌入空间做 K-Means。
优点:
擅长非凸结构(如环形、月牙形),理论优美。
缺点:
需预设 K,大规模时特征分解慢。
数据格式要求
特征变量:
数值型列,用于聚类计算(至少选2列)。
缺失值:
含 NA 的行会被自动剔除。