您好,登录后才能下订单哦!
这篇文章主要介绍“如何利用Selenium批量下载100首网易云热歌榜音乐”,在日常操作中,相信很多人在如何利用Selenium批量下载100首网易云热歌榜音乐问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何利用Selenium批量下载100首网易云热歌榜音乐”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
今天的小demo我们使用的是selenium和xpath.函数式编程采集数据.采集到的数据如图所示。
网易云音乐新歌榜数据100首歌曲。
首先这个页面通过reuqests方法是无法获取页面数据的,所以我们这里使用selenium,xpath方法解析数据。
这个table标签装了100首歌曲数据,但是这个页面是嵌在iframe标签中的,所以需要定位iframe标签,获取到里面的的内容。
url = "https://music.163.com/#/discover/toplist?id=3779629" # 新歌榜 driver = webdriver.Chrome() driver.get(url) time.sleep(3) _iframe = driver.find_element_by_id('g_iframe') # 找到iframe标签 driver.switch_to.frame(_iframe) time.sleep(1) page_text = driver.execute_script("return document.documentElement.outerHTML")
得到了iframe中的元素page_text,我们使用xpath。
html = etree.HTML(page_text) trs = html.xpath('//tr') id_list = [] song_name_list = [] singer_list = [] for tr in trs[1:]: id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] # id_list.append(id) song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0] song_name_list.append(song_name) print(id,"----",song_name)
base_url = 'http://music.163.com/song/media/outer/url?id={}.mp3' try: for index,id in enumerate(id_list): if index == 25: # 因为这个26首歌曲名非正常字符,要排除,否则报错 continue file_name = song_name_list[index] resp = requests.get(base_url.format(id)) with open(r'HotMusic/'+ file_name + '.mp3','wb') as f: f.write(resp.content) print('歌曲:%s下载成功' % file_name) except Exception as error: print(error)
到此,关于“如何利用Selenium批量下载100首网易云热歌榜音乐”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。