requires_grad = Ложь

Если вы хотите заморозить часть вашей модели и обучить остальную, вы можете установить requires_grad из параметров, которые вы хотите заморозить, на False.

Например, если вы хотите сохранить фиксированной только сверточную часть VGG16:

model = torchvision.models.vgg16(pretrained=True)
for param in model.features.parameters():
    param.requires_grad = False

При переключении флагов requires_grad на False промежуточные буферы не будут сохраняться, пока вычисление не дойдет до некоторой точки, где для одного из входов операции требуется градиент.

torch.no_grad ()

Использование диспетчера контекста torch.no_grad - это другой способ достижения этой цели: в контексте no_grad все результаты вычислений будут иметь requires_grad=False, даже если входные данные имеют requires_grad=True. Обратите внимание, что вы не сможете распространять градиент на слои до no_grad. Например:

x = torch.randn(2, 2)
x.requires_grad = True

lin0 = nn.Linear(2, 2)
lin1 = nn.Linear(2, 2)
lin2 = nn.Linear(2, 2)
x1 = lin0(x)
with torch.no_grad():    
    x2 = lin1(x1)
x3 = lin2(x2)
x3.sum().backward()
print(lin0.weight.grad, lin1.weight.grad, lin2.weight.grad)

выходы:

(None, None, tensor([[-1.4481, -1.1789],
         [-1.4481, -1.1789]]))

Здесь lin1.weight.requires_grad было True, но градиент не был вычислен, потому что операция была выполнена в контексте no_grad.

model.eval ()

Если ваша цель не в точной настройке, а в том, чтобы установить модель в режим вывода, наиболее удобный способ - использовать torch.no_grad диспетчер контекста. В этом случае вам также необходимо установить модель в режим оценки, это достигается путем вызова eval() на nn.Module, например:

model = torchvision.models.vgg16(pretrained=True)
model.eval()

Эта операция устанавливает для атрибута self.training слоев значение False, на практике это изменит поведение таких операций, как Dropout или BatchNorm, которые должны вести себя по-разному во время обучения и тестирования.

Вот способ;

linear = nn.Linear(1,1)

for param in linear.parameters():
    param.requires_grad = False

with torch.no_grad():
    linear.eval()
    print(linear.weight.requires_grad)

ВЫХОД: Ложь

Чтобы заполнить ответ @ Salih_Karagoz, у вас также есть контекст torch.set_grad_enabled() (дополнительная документация здесь), которую можно использовать чтобы легко переключаться между режимами обучения / оценки:

linear = nn.Linear(1,1)

is_train = False

for param in linear.parameters():
    param.requires_grad = is_train
with torch.set_grad_enabled(is_train):
    linear.eval()
    print(linear.weight.requires_grad)

Это руководство может помочь.

Короче говоря, я думаю, что хороший ответ на этот вопрос может быть следующим:

linear = nn.Linear(1,1)

for param in linear.parameters():
    param.requires_grad = False

linear.eval()
print(linear.weight.requires_grad)

Отлично. Хитрость заключается в том, чтобы проверить, что когда вы определяете Linear Layar, параметры по умолчанию будут иметь requires_grad=True, потому что мы хотели бы изучить, верно?

l = nn.Linear(1, 1)
p = l.parameters()
for _ in p:
    print (_)

# Parameter containing:
# tensor([[-0.3258]], requires_grad=True)
# Parameter containing:
# tensor([0.6040], requires_grad=True)    

Другая конструкция,

with torch.no_grad():

Значит, здесь нельзя учиться.

Итак, ваш код просто показывает, что вы способны учиться, даже если вы находитесь в torch.no_grad(), где обучение запрещено.

with torch.no_grad():
    linear = nn.Linear(1, 1)
    linear.eval()
    print(linear.weight.requires_grad) #true

Если вы действительно планируете отключить requires_grad для параметра веса, вы также можете сделать это с помощью:

linear.weight.requires_grad_(False)

or

linear.weight.requires_grad = False

Итак, ваш код может стать таким:

with torch.no_grad():
    linear = nn.Linear(1, 1)
    linear.weight.requires_grad_(False)
    linear.eval()
    print(linear.weight.requires_grad)

Если вы планируете переключиться на requires_grad для всех параметров в модуле:

l = nn.Linear(1, 1)
for _ in l.parameters():
    _.requires_grad_(False)
    print(_)