Python sklearn CountVectorizer 如何使用

在自然语言处理（NLP）中，文本数据的预处理和特征提取是非常重要的一步。CountVectorizer 是 scikit-learn 库中一个非常常用的工具，用于将文本数据转换为数值特征向量。本文将详细介绍 CountVectorizer 的使用方法，并通过示例代码展示其在实际应用中的效果。

1. CountVectorizer 简介

CountVectorizer 是 scikit-learn 库中的一个文本特征提取工具，它可以将文本数据转换为词频矩阵。具体来说，CountVectorizer 会将文本中的每个单词（或 n-gram）特征，并统计每个单词在文本中出现的次数，最终生成一个稀疏矩阵。

1.1 主要功能

• 文本分词：将文本分割成单词或 n-gram。
• 词频统计：统计每个单词在文本中出现的次数。
• 特征向量化：将文本数据转换为数值特征向量。

1.2 适用场景

• 文本分类
• 情感分析
• 信息检索
• 文本聚类

2. CountVectorizer 的基本用法

2.1 安装 scikit-learn

在使用 CountVectorizer 之前，首先需要安装 scikit-learn 库。可以通过以下命令进行安装：

pip install scikit-learn

2.2 导入库

from sklearn.feature_extraction.text import CountVectorizer

2.3 创建 CountVectorizer 对象

vectorizer = CountVectorizer()

2.4 拟合和转换文本数据

假设我们有以下文本数据：

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]

我们可以使用 fit_transform 方法将文本数据转换为词频矩阵：

X = vectorizer.fit_transform(corpus)

2.5 查看词频矩阵

X 是一个稀疏矩阵，可以通过 toarray() 方法将其转换为密集矩阵：

print(X.toarray())

输出结果如下：

[[0 1 1 1 0 0 1 0 1]
 [0 2 0 1 0 1 1 0 1]
 [1 0 0 1 1 0 1 1 1]
 [0 1 1 1 0 0 1 0 1]]

2.6 查看特征名称

可以通过 get_feature_names_out() 方法查看每个特征对应的单词：

print(vectorizer.get_feature_names_out())

输出结果如下：

['and' 'document' 'first' 'is' 'one' 'second' 'the' 'third' 'this']

3. CountVectorizer 的参数详解

CountVectorizer 提供了多个参数，可以根据具体需求进行调整。以下是一些常用的参数：

3.1 lowercase

是否将文本转换为小写，默认为 True。

vectorizer = CountVectorizer(lowercase=False)

3.2 stop_words

指定停用词列表，默认为 None。可以使用内置的停用词列表，也可以自定义停用词列表。

vectorizer = CountVectorizer(stop_words='english')

3.3 ngram_range

指定 n-gram 的范围，默认为 (1, 1)，即只使用单个单词。可以设置为 (1, 2)，表示使用单个单词和双词组合。

vectorizer = CountVectorizer(ngram_range=(1, 2))

3.4 max_df 和 min_df

max_df 和 min_df 用于过滤掉在文档中出现频率过高或过低的单词。max_df 可以是一个浮点数（表示文档频率的上限）或整数（表示文档数量的上限），min_df 同理。

vectorizer = CountVectorizer(max_df=0.85, min_df=2)

3.5 max_features

指定最大特征数量，即最多保留多少个单词作为特征。

vectorizer = CountVectorizer(max_features=1000)

4. 示例：文本分类

下面我们通过一个简单的文本分类示例来展示 CountVectorizer 的实际应用。

4.1 导入必要的库

from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

4.2 准备数据

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]
labels = [0, 1, 0, 1]  # 0 表示第一类，1 表示第二类

4.3 特征提取

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

4.4 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.25, random_state=42)

4.5 训练模型

model = MultinomialNB()
model.fit(X_train, y_train)

4.6 预测和评估

y_pred = model.predict(X_test)
print("Accuracy:", accuracy_score(y_test, y_pred))

5. 总结

CountVectorizer 是 scikit-learn 中一个非常强大的文本特征提取工具，能够将文本数据转换为数值特征向量，适用于各种文本分析任务。通过调整其参数，可以灵活地适应不同的应用场景。希望本文的介绍和示例能够帮助你更好地理解和使用 CountVectorizer。