curl 命令 和 wge t命令

curl：
curl 是强大的URL传输工具，这个命令最常用的功能就是通过命令行发送http请求以及下载文件，比如模拟refer（从那个页面跳转过来）、cookie、agent（使用什么浏览器）等，同时还能够模拟表单数据。

curl命令选项：
-i: 显示头部信息
-I：只显示头部信息，不显示正文
-X：指定请求方法，比如GET\POST等
--from：模拟表单，利用这个参数可以上传文件、模拟点击按钮等
-A：指定用户代理，比如Mozilla/4.0
-b：设置cookie
-c：指定cookie文件
-e：指定referer，有些网址必须从某个页面跳转过去
--header：设置请求头部信息
--user：有些页面需要http认证，传递name:passwd认证

curl -X POST -d "*****"

使用重定向“>” 符号将输出重定向到本地文件中
curl http://www.jd.com >index.html
也可以通过curl自带的-o/-O选项将内容保存到文件中
-o（小写的o）：结果被保存到命令行中提供的文件名
curl -o index.html http://www.jd.com
-O（大写的O）：URL中的文件名会被用作保存文件到本地
curl https://cache.yisu.com/upload/information/20200309/28/2481 -O

续传：当文件下载之前结束该进程，通过日俺家-C选项继续对该文件进行下载，已下载的文件不会被重复下载。

--limit-rate： 对curl限速
curl --limit-rate 1024B http://www.jd.com

对文件的最后修改时间进行判断，如果该文件在指定日期内修改过，就进行下载，否则不下载，该功能通过-z实现：比如若a.html文件在2019/12/28之后有过更新才会进行下载。
curl -z 21-Dec-18 http://www.a.com/a.html

当通过浏览器打开链接是，会自动跳转http://www.jd.com 此时我们想要curl做的像浏览器一样跟随链接的跳转，获取最终的网页内容。可以在命令中添加-L选项来跟随衔接重定向。
curl -L http://www.jd.com

wget命令
wget是一个文件下载工具，他用在命令行下，支持断点下载功能，同时支持ftp和http下载方式。支持代理服务器和设置起来方便简单。

wget -c：断点续传使用
wget -b：后台下载
wget --spider URL ：测试下载链接是否有效
wget ftp-url ：使用wget完成ftp链接的下载，匿名ftp下载类似于http下载
wget --ftp-user=name --ftp-password=passwd url：使用wget用户名和密码认证的ftp下载
wget -Q：限制总下载文件大下
下载文件超过10MB而退出下载
wget -Q10m -i iso_limit.txt

下载单个文件：
wget http://www.jd.com/a.iso

当下载的文件名太长不方便运维人员操作，可以自定义文件名，可以使用”-O“来指定一个文件名：
wget -O Centos-7.iso http://www.jd.com/a.iso
把下载信息存入到日志：wget -o
wget -o a.log URL

使用--limit-rate限速下载：
wget -O Centos-7.iso --limit-rate=600k http://www.jd.com/a.iso

使用wget做网站镜像：
wget --mirror -p --convert-links -p ./local url
--mirror :设置这个参数用来建设本地镜像
-p：下载所有html文件适合显示的元素
--convert-links：下载完成之后，将文档链接都转换成本地的
-P ./local ：保存所有的文件和目录到指定文件夹下

下载站点时，不打算下载gif动画图片
wget --reject=gif url