Linux中如何安装和使用wget命令

发布时间：2022-02-18 10:00:33 作者：iii
来源：亿速云阅读：2600

# Linux中如何安装和使用wget命令

## 一、wget命令简介

wget是GNU项目开发的一个非交互式网络下载工具，全称为"World Wide Web get"。它支持HTTP、HTTPS和FTP协议，能够递归下载网站内容，是Linux系统中最常用的下载工具之一。

### 1.1 wget的主要特点

- **支持断点续传**：网络中断后可以继续下载未完成的部分
- **后台运行**：可以在用户退出系统后继续工作
- **递归下载**：可以下载整个网站或目录结构
- **支持代理**：可以通过代理服务器进行下载
- **稳定性高**：对不稳定的网络连接有很好的适应性

### 1.2 wget与curl的区别

| 特性        | wget                          | curl                          |
|-------------|-------------------------------|-------------------------------|
| 协议支持    | HTTP, HTTPS, FTP             | 支持更多协议(如SCP, SFTP等)   |
| 递归下载    | 支持                          | 不支持                        |
| 断点续传    | 内置支持                      | 需要特定参数                  |
| 交互性      | 非交互式                      | 更灵活，适合API交互           |
| 主要用途    | 文件下载                      | 数据传输                      |

## 二、安装wget

### 2.1 检查是否已安装wget

在终端执行以下命令检查wget是否已安装：

```bash
wget --version

如果显示版本信息，则说明已安装。如果显示”command not found”，则需要安装。

2.2 在不同Linux发行版中安装wget

2.2.1 Debian/Ubuntu系统

sudo apt update
sudo apt install wget

2.2.2 CentOS/RHEL系统

sudo yum install wget

对于CentOS 8+或RHEL 8+：

sudo dnf install wget

2.2.3 Arch Linux

sudo pacman -S wget

2.2.4 openSUSE

sudo zypper install wget

2.3 编译安装最新版本

如果需要安装最新版本的wget，可以从源码编译安装：

# 下载最新源码包
wget https://ftp.gnu.org/gnu/wget/wget-latest.tar.gz

# 解压
tar -xzf wget-latest.tar.gz
cd wget-*

# 编译安装
./configure
make
sudo make install

三、wget基本使用

3.1 基本下载语法

wget [选项] [URL]

3.2 常用下载示例

3.2.1 下载单个文件

wget https://example.com/file.zip

3.2.2 下载并重命名文件

wget -O newname.zip https://example.com/file.zip

3.2.3 限速下载

限制下载速度为100KB/s：

wget --limit-rate=100k https://example.com/largefile.iso

3.2.4 后台下载

wget -b https://example.com/largefile.iso

3.2.5 断点续传

wget -c https://example.com/largefile.iso

四、wget高级用法

4.1 递归下载

4.1.1 下载整个网站

wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --domains example.com --no-parent https://example.com/

参数说明： - --recursive: 递归下载 - --no-clobber: 不覆盖已有文件 - --page-requisites: 下载页面所需的所有文件(如图片) - --html-extension: 为HTML文件添加.html扩展名 - --convert-links: 转换链接以便本地浏览 - --restrict-file-names=windows: 确保文件名兼容Windows - --domains example.com: 不下载指定域名外的链接 - --no-parent: 不下载父目录

4.1.2 限制递归深度

wget -r -l 2 https://example.com/

-l 2表示最大递归深度为2

4.2 批量下载

4.2.1 使用文件列表下载

创建一个文本文件urls.txt，每行一个URL：

https://example.com/file1.zip
https://example.com/file2.zip
https://example.com/file3.zip

然后执行：

wget -i urls.txt

4.2.2 下载序列文件

wget https://example.com/images/{1..10}.jpg

4.3 认证下载

4.3.1 HTTP基本认证

wget --user=username --password=password https://example.com/protected/file.zip

4.3.2 FTP下载

wget ftp://username:password@ftp.example.com/file.zip

4.4 使用代理

wget -e use_proxy=yes -e https_proxy=127.0.0.1:8080 https://example.com/file.zip

五、wget实用技巧

5.1 镜像网站

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com/

5.2 下载特定类型文件

wget -r -A.pdf https://example.com/documents/

5.3 排除特定文件类型

wget -r -R.jpg,.png https://example.com/images/

5.4 设置用户代理

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)" https://example.com/

5.5 下载失败后自动重试

wget --tries=10 https://example.com/unstable-file.zip

六、wget配置文件

wget的全局配置文件位于/etc/wgetrc，用户配置文件位于~/.wgetrc。

6.1 常用配置选项

# 设置下载目录
dir = ~/downloads

# 启用断点续传
continue = on

# 设置重试次数
tries = 5

# 设置代理
use_proxy = on
http_proxy = http://proxy.example.com:8080/
https_proxy = http://proxy.example.com:8080/

6.2 使用配置文件

wget --config=~/.wgetrc https://example.com/file.zip

七、wget常见问题解决

7.1 证书问题

忽略SSL证书验证：

wget --no-check-certificate https://example.com/

7.2 中文文件名乱码

wget --restrict-file-names=nocontrol https://example.com/中文文件.zip

7.3 连接超时设置

wget --timeout=30 https://example.com/slow-file.zip

7.4 防止被网站屏蔽

wget --random-wait --wait=5 --limit-rate=100k https://example.com/

八、wget脚本示例

8.1 自动备份网站

#!/bin/bash

DATE=$(date +%Y%m%d)
BACKUP_DIR="/backups/website-$DATE"

mkdir -p "$BACKUP_DIR"
cd "$BACKUP_DIR"

wget --mirror \
     --convert-links \
     --adjust-extension \
     --page-requisites \
     --no-parent \
     --user-agent="Mozilla/5.0" \
     --random-wait \
     https://example.com/

echo "Backup completed at $(date)" >> backup.log

8.2 定期检查文件更新并下载

#!/bin/bash

URL="https://example.com/important-file.txt"
LOCAL_FILE="/data/important-file.txt"
TIMESTAMP_FILE="/data/last_checked.txt"

# 获取远程文件的最后修改时间
REMOTE_TIME=$(wget --server-response --spider "$URL" 2>&1 | grep 'Last-Modified' | awk -F ': ' '{print $2}')

if [ -f "$TIMESTAMP_FILE" ]; then
    LOCAL_TIME=$(cat "$TIMESTAMP_FILE")
    if [ "$REMOTE_TIME" != "$LOCAL_TIME" ]; then
        wget -O "$LOCAL_FILE" "$URL"
        echo "$REMOTE_TIME" > "$TIMESTAMP_FILE"
        echo "File updated at $(date)"
    else
        echo "File is up to date"
    fi
else
    wget -O "$LOCAL_FILE" "$URL"
    echo "$REMOTE_TIME" > "$TIMESTAMP_FILE"
    echo "Initial download at $(date)"
fi

九、总结

wget是Linux系统中功能强大的下载工具，通过本文的介绍，您应该已经掌握了：

wget的安装方法
基本和高级下载技巧
递归下载和网站镜像
批量下载和自动化脚本
常见问题的解决方法

wget虽然简单，但功能十分强大，熟练掌握wget可以大大提高在Linux环境下处理下载任务的效率。建议读者在实际工作中多加练习，将这些技巧应用到日常工作中。

十、延伸阅读

”`

这篇文章详细介绍了wget命令的安装、基本使用、高级技巧以及常见问题解决方法，总字数约2700字，采用Markdown格式编写，包含了代码块、表格、列表等元素，便于阅读和理解。