使用python爬取吉首大学网站成绩单的操作介绍

发布时间:2021-06-02 09:31:42 作者:栢白
来源:亿速云 阅读:259

本篇文章和大家了解一下使用python爬取吉首大学网站成绩单的操作介绍。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。

项目地址:

https://github.com/chen0495/pythonCrawlerForJSU

环境

配置及使用

登陆学校成绩单查询网站,修改cookie.

使用python爬取吉首大学网站成绩单的操作介绍

按F12后按Ctrl+R刷新一下,获取cookie的方法见下图:

使用python爬取吉首大学网站成绩单的操作介绍

修改爬虫url为自己的成绩单网址.

使用python爬取吉首大学网站成绩单的操作介绍

运行src/main.py文件即可在/result下得到csv文件.

结果展示

使用python爬取吉首大学网站成绩单的操作介绍

完整代码

# -*- coding: utf-8 -*-
# @Time    : 5/29/2021 2:13 PM
# @Author  : Chen0495
# @Email   : 1346565673@qq.com|chenweiin612@gmail.com
# @File    : main.py
# @Software: PyCharm

import requests as rq
from bs4 import BeautifulSoup as BS
import numpy as np
import pandas as pd

rq.adapters.DEFAULT_RETRIES = 5
s = rq.session()
s.keep_alive = False # 关闭多余连接

header = { # 请更改cookie
    'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4501.0 Safari/537.36 Edg/92.0.891.1',
    'cookie' : 'wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1'
}

# 请更改url
r = rq.get('https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list', headers = header, verify=False)

soup = BS(r.text,'html.parser')

head = []
for th in soup.find_all("th"):
    head.append(th.text)
while '' in head:
    head.remove('')
head.remove('序号')
context = np.array(head)


x = []
flag = 0
for td in soup.find_all("td"):
    if flag!=0 and flag%11!=1:
        x.append(td.text)
    if flag%11==0 and flag!=0:
        context = np.row_stack((context,np.array(x)))
        x.clear()
    flag+=1

context = np.delete(context,0,axis=0)
data = pd.DataFrame(context,columns=head)
print(data)

# 生成文件,亲更改文件名
data.to_csv('../result/result.csv',encoding='utf-8-sig')

以上就是使用python爬取吉首大学网站成绩单的操作介绍的简略介绍,当然详细使用上面的不同还得要大家自己使用过才领会。如果想了解更多,欢迎关注亿速云行业资讯频道哦!

推荐阅读:
  1. 如何使用Python爬取最好大学网大学排名
  2. 爬取大学本学期绩点的方法

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python 爬虫

上一篇:python批量压缩图片的脚本代码分享

下一篇:路由器拒绝接入是什么原因

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》