python爬虫正则匹配如何处理重复

在Python爬虫中，使用正则表达式处理重复内容时，可以使用re.findall()函数。这个函数会返回所有匹配到的子串列表。如果需要处理重复的内容，可以在正则表达式中使用非贪婪匹配、正向预查或反向预查等技巧。

以下是一些示例：

1. 非贪婪匹配：

import re

text = "这是一个包含多个<span>重复标签</span>的文本。"
pattern = r"<span.*?>.*?</span>"

matches = re.findall(pattern, text)
print(matches)

2. 正向预查：

import re

text = "这是一个包含多个<span class='example'>重复标签</span>的文本。"
pattern = r"(<span class='example'>.*?)</span>"

matches = re.findall(pattern, text)
print(matches)

3. 反向预查：

import re

text = "这是一个包含多个<span>重复标签</span>的文本。"
pattern = r".*?<span>(.*?)</span>"

matches = re.findall(pattern, text)
print(matches)

在这些示例中，我们使用了不同的正则表达式技巧来处理重复的<span>标签。你可以根据自己的需求选择合适的方法。