PyTorch

register_buffer vs register_parameter의 차이

모델 내에 파라미터가 존재하는데 state_dict에 저장이 되지만, 학습 과정에서 역전파(backpropagation)을 수행할 때 optimizer에 학습되거나 update되지 않길 원한다면, 이런 경우에는 model.parameters()를 사용하지 않고 그 파라미터들을 buffer로 지정하면 됩니다. 그렇게 된다면 model.parameters()로 간주되지 않아 optimizer가 그들을 update하려고 하지 않습니다. 그렇다면 register_parameter()와 register_buffer()의 차이가 뭘까요? register_parameter()는 주어진 name을 기반으로 파라미터를 추가하는 함수입니다. 1) Optimizer가 backpropagation을 수행할 때 paramete..