如何用Python写一个词频统计小项目

# 如何用Python写一个词频统计小项目

词频统计是自然语言处理的基础任务之一，它能帮助我们快速分析文本中的关键词分布。本文将手把手教你用Python实现一个完整的词频统计工具，包含文件读取、文本预处理、统计分析和可视化功能。

## 一、项目功能设计

我们的词频统计工具将实现以下核心功能：
1. 支持多种文本格式输入（txt/csv/json）
2. 中文/英文文本分词处理
3. 停用词过滤
4. 词频统计与排序
5. 结果可视化展示
6. 统计结果导出

## 二、开发环境准备

```python
# 所需库安装
pip install jieba     # 中文分词
pip install wordcloud # 词云生成
pip install matplotlib pandas

三、代码实现步骤

1. 文件读取模块

def read_file(file_path):
    """支持多种文本格式读取"""
    if file_path.endswith('.txt'):
        with open(file_path, 'r', encoding='utf-8') as f:
            return f.read()
    elif file_path.endswith('.csv'):
        import pandas as pd
        return pd.read_csv(file_path).to_string()
    elif file_path.endswith('.json'):
        import json
        with open(file_path, 'r') as f:
            return json.load(f)
    else:
        raise ValueError("Unsupported file format")

2. 文本预处理模块

import re
import jieba
from collections import Counter

def preprocess_text(text, language='ch'):
    """文本清洗和分词处理"""
    # 去除特殊字符
    text = re.sub(r'[^\w\s]', '', text.lower())
    
    if language == 'ch':
        # 中文分词
        words = jieba.lcut(text)
    else:
        # 英文分词
        words = text.split()
    
    return words

3. 停用词过滤

def load_stopwords(stop_file='stopwords.txt'):
    """加载停用词表"""
    with open(stop_file, 'r', encoding='utf-8') as f:
        return set([line.strip() for line in f])

def remove_stopwords(words, stopwords):
    """过滤停用词"""
    return [w for w in words if w not in stopwords and len(w) > 1]

4. 词频统计核心函数

def word_frequency(words, top_n=20):
    """统计词频并返回最高频的N个词"""
    return Counter(words).most_common(top_n)

5. 可视化展示

import matplotlib.pyplot as plt
from wordcloud import WordCloud

def plot_wordcloud(word_freq):
    """生成词云图"""
    wc = WordCloud(
        font_path='simhei.ttf',
        background_color='white',
        width=800,
        height=600
    ).generate_from_frequencies(dict(word_freq))
    
    plt.imshow(wc)
    plt.axis('off')
    plt.show()

def plot_bar(word_freq):
    """绘制柱状图"""
    words, counts = zip(*word_freq)
    plt.barh(words, counts)
    plt.xlabel('出现次数')
    plt.title('词频统计')
    plt.tight_layout()
    plt.show()

6. 完整流程整合

def main(file_path, language='ch', top_n=20):
    # 1. 读取文件
    text = read_file(file_path)
    
    # 2. 预处理和分词
    words = preprocess_text(text, language)
    
    # 3. 停用词过滤
    stopwords = load_stopwords()
    words = remove_stopwords(words, stopwords)
    
    # 4. 词频统计
    word_freq = word_frequency(words, top_n)
    
    # 5. 结果展示
    print("Top {} 高频词:".format(top_n))
    for word, count in word_freq:
        print(f"{word}: {count}")
    
    # 6. 可视化
    plot_bar(word_freq)
    plot_wordcloud(word_freq)
    
    return word_freq

四、项目扩展建议

1. 多语言支持：添加更多语言的分词处理
2. 情感分析：结合词频进行简单情感倾向判断
3. Web服务：使用Flask/Django开发网页版工具
4. 实时分析：监控剪贴板自动统计词频
5. 历史对比：支持多文档词频对比分析

五、实际应用示例

if __name__ == '__main__':
    # 统计中文新闻词频
    result = main('news.txt', language='ch')
    
    # 统计英文小说词频
    result = main('novel.txt', language='en', top_n=30)

六、常见问题解决

1. 编码问题：统一使用utf-8编码处理文件
2. 分词不准确：添加自定义词典 jieba.load_userdict()
3. 性能优化：对于大文件使用生成器逐行处理
4. 特殊符号处理：根据需求调整正则表达式模式

结语

通过这个约100行的Python项目，我们实现了完整的词频统计流程。该项目不仅可以帮助你快速分析文档关键词，还能作为学习Python文本处理的入门案例。建议在此基础上继续扩展功能，比如添加PDF文件支持或开发GUI界面，让项目更加实用。

完整代码已上传GitHub：https://github.com/example/word-frequency-analyzer “`