python爬虫怎么抓取文章 - 问答

要使用Python进行网页抓取，您可以使用第三方库requests和BeautifulSoup。以下是一个简单的示例，说明如何抓取文章标题和链接：

首先，确保已安装requests和beautifulsoup4库。如果尚未安装，请使用以下命令安装：

pip install requests beautifulsoup4

创建一个名为article_scraper.py的Python文件，并在其中编写以下代码：

import requests
from bs4 import BeautifulSoup

def fetch_article_titles_and_links(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    article_titles_and_links = []
    
    for article in soup.find_all('article'):
        title = article.find('h2').text.strip()
        link = article.find('a')['href']
        
        # 如果链接是相对路径，将其转换为绝对路径
        if not link.startswith('http'):
            link = requests.compat.urljoin(url, link)
            
        article_titles_and_links.append((title, link))
    
    return article_titles_and_links

if __name__ == '__main__':
    url = 'https://example.com/articles'  # 更改为您要抓取的文章网站的URL
    titles_and_links = fetch_article_titles_and_links(url)
    
    for title, link in titles_and_links:
        print(f'Title: {title}\nLink: {link}\n')

在代码中替换https://example.com/articles为您要抓取的文章网站的URL。请注意，此示例适用于具有文章标题和链接在<article>标签内的网站。如果网站的HTML结构不同，您可能需要相应地修改代码。
运行Python脚本：

python article_scraper.py

这将输出文章的标题和链接。根据实际需求，您可以使用正则表达式或其他方法提取更多文章信息。

0 赞

0 踩