python如何爬取美团网站街道信息

这篇文章给大家分享的是有关python如何爬取美团网站街道信息的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

目前还在写代码中，模拟登陆，所以在慢慢更新

接着上一次的代码，接下来就是关于爬取区县以及街道的信息

有了上一次的省市信息，从数据库中拿出市一级的信息，根据美团的请求的url，发现只需要拼音的简写，就可以组成新的url去访问

依据此，去爬取数据

先去从数据库中获取数据，直接的截图，返回的是一个生成器，生成器的知识自己去了解，返回的是城市的id，及它的拼音简写

接下来就是拼接url，发送请求，获取区县数据，源码的一部分

重新拼接好的url放入列表中，重写start_requests方法，使用request.meta方法传递附加的数据，该方法可以传递任何数据，使用response获取传递的数据

接下来就是将所需要数据解析出来，根据items中定义的，去保存数据，通过管道将其保存到数据库中，下图中的数据是从数据中导出来的，区县的数据（3092）

街道的数据（20593）

感谢各位的阅读！关于“python如何爬取美团网站街道信息”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！