PyTorch optimizer怎么使用

本篇内容主要讲解“PyTorch optimizer怎么使用”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“PyTorch optimizer怎么使用”吧!

优化器的作用是管理并更新参数组，请构建一个SGD优化器，通过add_param_group方法添加三组参数，三组参数的学习率分别为 0.01， 0.02， 0.03， momentum分别为0.9, 0.8, 0.7，构建好之后，并打印优化器中的param_groups属性中的每一个元素的key和value（提示：param_groups是list，其每一个元素是一个字典）

控制 lr 的 optimizer

import torch
import torch.optim as optim


torch.manual_seed(1234)


w1 = torch.randn((2, 2), requires_grad=True)
w2 = torch.randn((2, 2), requires_grad=True)
w3 = torch.randn((2, 2), requires_grad=True)
w1.grad = torch.ones((2, 2))
print(w1.grad, w2.grad, w3.grad)

optimizer = optim.SGD([w1], lr=1, momentum=0.9)
optimizer.add_param_group({"params": w2, 'lr': 2, 'momentum': 0.8})
optimizer.add_param_group({"params": w3, 'lr': 3, 'momentum': 0.7})

print("optimizer.param_groups is\n{}".format(optimizer.param_groups))

optimizer.step()
print(w1, w2, w3)

到此，相信大家对“PyTorch optimizer怎么使用”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！