데알못정을

pytorch를 이용하여 신경망을 설계하고, 학습과정에서 dropout을 지정할 때와, 그렇지 않을 때를 비교해서drop out의 효과를 공부해보자. 먼저, dropout이란 무엇인지 살펴보면 신경망 뿐만 아니라 머신러닝에서 자주 발생하는 문제 중에 'overfitting'이 있다. dropout은 이를 신경망에서 해결하기 위한 방법인데, 어떻게 하냐면 오른쪽 그림과 같이 일정한 비율로 훈련세트에서 무작위로 노드를 제거하면서 학습을 이어나가는 것이다. 이렇게 되면 활성화된 노드만 학습에 참여하여 과적합을 방지할 수 있다. 테스트 셋에서는 모든 뉴런에 신호를 전달하는 대신 훈련때 삭제한 비율을 각 뉴런에 곱해서 출력을 한다. 실제로 drop out을 할때 train, test loss의 변화는 어떤지 보자..

파이토치의 구성 torch numpy와 같은 구성 torch.autograd 자동 미분을 위한 함수 포함 torch.nn 신경망을 구축하기 위한 다양한 데이터 구조나 레이어등이 정의돼 있다.(활성함수, MSEloss 등) torch.optim SGD(확률적 경사하강법) 을 중심으로 한 파라미터 최적화 알고리즘이 구현돼 있다 torch.utils.data SGD의 반복 연산을 실핼할 때 사용하는 미니 배치용 유틸리티 함수가 포함돼 있다. 1. torch.nn , optim 모듈을 사용하지 않고 수동으로 SGD를 구현하기 import torch y = 1 + 2x_1 + 3x_2 #우리가 만들 함수 w_true = torch.Tensor([1,2,3]) # 정답 파라미터 X = torch.cat([torch..