Ubuntu PyTorch迁移学习实践 - 问答

在Ubuntu环境下进行PyTorch迁移学习的实践涉及多个步骤，包括环境配置、数据加载、模型定义、训练和测试等。以下是一个详细的指南：

环境配置

安装Ubuntu和必要的软件包：

建议使用Ubuntu 18.04系统，因为Ubuntu 22.04和20.04可能会遇到一些问题。
安装显卡驱动：使用ubuntu-drivers devices命令查看推荐的驱动型号，并使用sudo ubuntu-drivers autoinstall进行安装。
安装CUDA和cuDNN：根据PyTorch官网的要求选择合适的CUDA和cuDNN版本进行安装，并修改环境变量以便系统识别。

安装PyTorch：

在PyTorch官网找到适合CUDA版本的PyTorch安装命令，并在Anaconda环境中进行安装。

迁移学习实践

加载数据集：

使用torchvision.datasets加载CIFAR-10数据集或其他自定义数据集，并进行必要的预处理。

定义模型：

使用torchvision.models加载预训练模型（如ResNet18），并修改最后一层以适应新的任务需求。

训练模型：

定义损失函数和优化器，编写训练和测试函数，并进行模型的训练。

以下是一个简单的PyTorch迁移学习示例代码：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.models as models
import torchvision.datasets as datasets
import torchvision.transforms as transforms

# 加载数据集
transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225))
])

train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=32, shuffle=False, num_workers=4)

# 定义模型，加载预训练参数
model = models.resnet18(pretrained=True)
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 10)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

# 训练模型
def train(model, train_loader, criterion, optimizer):
    model.train()
    for inputs, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

# 测试模型
def test(model, test_loader, criterion):
    model.eval()
    with torch.no_grad():
        total_loss = 0.0
        total_corrects = 0
        for inputs, labels in test_loader:
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            _, preds = torch.max(outputs, 1)
            total_loss += loss.item() * inputs.size(0)
            total_corrects += torch.sum(preds == labels.data)
        avg_loss = total_loss / len(test_loader.dataset)
        accuracy = float(total_corrects) / len(test_loader.dataset)
    return avg_loss, accuracy

# 训练和测试模型
num_epochs = 10
for epoch in range(num_epochs):
    print('Epoch {}/{}'.format(epoch + 1, num_epochs))
    train(model, train_loader, criterion, optimizer)
    test_loss, test_acc = test(model, test_loader, criterion)
    print('Test loss: {:.4f}, Test acc: {:.4f}'.format(test_loss, test_acc))

请注意，为了获得更好的性能，您可能需要调整超参数、使用数据增强技术或尝试不同的模型架构。

0 赞

0 踩