Python怎么统计单词个数

# Python怎么统计单词个数

文本处理是编程中的常见需求，统计单词个数则是基础但实用的功能。Python凭借其简洁的语法和丰富的库，能够轻松实现这一目标。本文将介绍5种不同的方法，涵盖从基础到进阶的应用场景。

## 方法1：使用split()基础分割

最直观的方法是使用字符串的`split()`方法：

```python
text = "Python is simple yet powerful. Python is versatile."
words = text.split()  # 默认按空白字符分割
word_count = len(words)
print(f"单词数量: {word_count}")  # 输出：单词数量: 7

特点： - 简单易用 - 无法处理标点符号粘连情况（如”Python.“会被视为一个单词） - 适合处理格式规范的文本

方法2：正则表达式精确分割

re模块提供了更强大的分割能力：

import re

text = "Python is simple, yet powerful! Python is versatile."
words = re.findall(r'\b\w+\b', text)  # 匹配单词边界
word_count = len(words)
print(f"单词数量: {word_count}")  # 输出：单词数量: 7

优势： - 正确处理标点符号 - 支持国际化字符（添加re.UNICODE标志） - 可自定义匹配模式

方法3：使用collections.Counter统计词频

需要统计每个单词出现次数时：

from collections import Counter

text = "Python is simple. Python is awesome."
words = re.findall(r'\w+', text.lower())  # 统一转为小写
word_counter = Counter(words)

print("单词总数:", sum(word_counter.values()))  # 输出：6
print("词频统计:", word_counter.most_common())

输出示例：

单词总数: 6
词频统计: [('python', 2), ('is', 2), ('simple', 1), ('awesome', 1)]

方法4：处理大文件的内存优化方案

处理大型文本文件时，建议逐行读取：

def count_words_in_file(file_path):
    word_count = 0
    with open(file_path, 'r', encoding='utf-8') as file:
        for line in file:
            words = re.findall(r'\w+', line)
            word_count += len(words)
    return word_count

优化点： - 避免一次性加载大文件 - 支持GB级文件处理 - 可扩展为并行处理

方法5：使用第三方库NLTK

自然语言处理库NLTK提供专业级解决方案：

from nltk.tokenize import word_tokenize

text = "Python's syntax is intuitive. Isn't it?"
words = word_tokenize(text)  # 智能处理缩写、所有格等
print(f"精确分词结果: {words}") 
print(f"单词数量: {len(words)}")

输出示例：

精确分词结果: ['Python', "'s", 'syntax', 'is', 'intuitive', '.', 'Is', "n't", 'it', '?']
单词数量: 10

进阶应用：自定义统计规则

实际业务中常需要特殊处理：

def advanced_word_count(text):
    # 排除停用词
    stopwords = {'the', 'a', 'an', 'is'}
    words = [word for word in re.findall(r'\w+', text.lower()) 
             if word not in stopwords]
    
    # 词干提取
    from nltk.stem import PorterStemmer
    stemmer = PorterStemmer()
    stemmed_words = [stemmer.stem(word) for word in words]
    
    return len(stemmed_words)

性能对比测试

使用10万单词文本测试：

总结建议

1. 简单需求：直接使用split()方法
2. 标准处理：推荐正则表达式方案
3. 专业分析：选择NLTK等专业库
4. 大文件处理：务必采用流式读取

完整代码示例可参考GitHub仓库：示例链接（虚构）

掌握这些方法后，你还可以进一步扩展： - 添加GUI界面 - 开发Web服务API - 集成到数据分析流程中 “`

注：实际运行时需要根据具体情况调整代码，特别是NLTK需要先执行nltk.download('punkt')下载分词数据。不同语言的文本处理可能需要特定的分词策略。