Python短文本聚类：使用K-means算法

短文本聚类是一种将大量短文本数据组织成有意义的类别的技术。它广泛应用于推荐系统、信息检索和社交媒体分析等领域。在本篇文章中，我们将使用Python的K-means算法进行短文本聚类。

首先，我们需要安装一些必要的Python库，包括sklearn、nltk和gensim。你可以使用以下命令安装这些库：

pip install sklearn nltk gensim

接下来，我们将使用nltk库下载并处理数据集。在本例中，我们将使用著名的电影评论数据集。请确保你已经下载了movie_reviews数据集。

import nltk
from nltk.corpus import movie_reviews
# 下载数据集
nltk.download('movie_reviews')
# 加载数据集
documents = movie_reviews.sents()

接下来，我们将使用TF-IDF和余弦相似度作为特征提取和相似度度量方法。首先，我们将使用sklearn.feature_extraction.text.TfidfVectorizer将文本转换为TF-IDF特征向量。然后，我们将使用sklearn.metrics.pairwise.cosine_similarity计算余弦相似度。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
# 创建TF-IDF特征向量
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(documents)
# 计算余弦相似度
cosine_sim = cosine_similarity(X)

现在，我们可以使用K-means算法进行聚类。我们将使用sklearn.cluster.KMeans进行聚类，并设置聚类的数量为2。

from sklearn.cluster import KMeans
# 创建K-means模型并拟合数据
kmeans = KMeans(n_clusters=2)
kmeans.fit(cosine_sim)

最后，我们可以查看聚类的结果。我们将打印每个文本所属的类别标签以及其对应的聚类中心点。我们还将展示一些代表性的短文本以供解释。

# 打印每个文本所属的类别标签以及其对应的聚类中心点
for i, doc in enumerate(documents):
    print(f'Document {i+1}: {doc}')
    print(f'Cluster label: {kmeans.labels_[i]}')
    print(f'Cluster center: {kmeans.cluster_centers_[kmeans.labels_[i]]}')
    print()