如何用Python提炼3000英语新闻高频词汇

本篇文章给大家分享的是有关如何用Python提炼3000英语新闻高频词汇，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

以下为3000高频词汇的提取过程，如需最后的单词库，直接拉到文末。

1.爬取ChinaDaily全站网页URL

2.请求爬取的URL并解析网页单词

3.对单词文本文件进行词频处理

结果为：

单词总数 3537063
单词个数 38201
去除停用词的单词总数： 2603450
去除停用词的单词个数： 38079

部分单词及词频为：

('online', 8788)
('business', 8772)
('society', 8669)
('people', 8646)
('content', 8498)
('story', 8463)
('multimedia', 8287)
('cdic', 8280)
('travel', 7959)
('com', 7691)
('cover', 7679)
('cn', 7515)
('hot', 7219)
('shanghai', 7064)
('first', 6941)
('photos', 6739)
('page', 6562)
('years', 6367)
('paper', 6289)
('festival', 6188)
('offer', 6064)
('sports', 6025)
('africa', 6008)
('forum', 5983)

最后得到一个包含3000个高频词汇的txt文本文件，大家可以将其导入到各大单词软件的单词本中。

以上就是如何用Python提炼3000英语新闻高频词汇，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。