在PyTorch中,可以使用torchvision.datasets
模块来加载常用的数据集。该模块提供了对以下常用数据集的支持:
加载数据集的一般步骤如下:
from torchvision import datasets
from torchvision import transforms
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
这里的变换是将图像转换为张量,并进行归一化处理。
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=True)
这里的root
参数指定数据集的下载和存储路径,train
参数表示加载训练集还是测试集,transform
参数指定对数据集进行的变换,download
参数表示是否下载数据集(仅在第一次运行时需要下载)。
from torch.utils.data import DataLoader
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)
这里的batch_size
参数指定每个批次的样本数,shuffle
参数表示是否对数据进行随机打乱。
通过上述步骤,就能够加载和使用PyTorch中的数据集进行训练和测试。