데알못정을

파이토치의 구성 torch numpy와 같은 구성 torch.autograd 자동 미분을 위한 함수 포함 torch.nn 신경망을 구축하기 위한 다양한 데이터 구조나 레이어등이 정의돼 있다.(활성함수, MSEloss 등) torch.optim SGD(확률적 경사하강법) 을 중심으로 한 파라미터 최적화 알고리즘이 구현돼 있다 torch.utils.data SGD의 반복 연산을 실핼할 때 사용하는 미니 배치용 유틸리티 함수가 포함돼 있다. 1. torch.nn , optim 모듈을 사용하지 않고 수동으로 SGD를 구현하기 import torch y = 1 + 2x_1 + 3x_2 #우리가 만들 함수 w_true = torch.Tensor([1,2,3]) # 정답 파라미터 X = torch.cat([torch..

[regularization] 우리는 주어진 데이터를 가지고 어떤 예측을 수행할 때 모델을 만듭니다. 즉 prediction function 인데요, 이 함수가 우리가 가진 데이터를 너무 많이 fitting 할 경우엔 흔히 일반화 성능이 나오지 않는 과적합이 발생했다고 합니다. 따라서 모델이 학습하는 과정에서 어떤 규제를 주어 과적합을 방지 하겠다는 아이디어에서 나온 개념이 바로 ridge, lasso 규제 입니다. 우리의 모델이 선형모델인 경우에, 최소자승법(OLS)을 통해 loss 를 최소화 하는 조합의 weight를 구할 수 있는데, 여기 이 w^hat 이 바로 우리가 경험한 (empirical) 데이터에 대한 loss를 최소화하는 최적의 weight입니다. 규제를 걸어줄 경우에, min 값으로 묶..

#이상치탐지 #이상치 #LOF #머신러닝 이번 포스팅에서는 산학협력 연구로 공정 장비 센서데이터의 이상치를 미리 탐지하고 그 시점을 산출하는 목적으로 진행했던 프로젝트에서, 내가 맡았던 머신러닝 이상치 탐지 알고리즘 LOF를 이용해 분석했었는데, 이상치라는 것과 이상치를 다룰 수 있는 머신러닝 알고리즘에 대해 공부한 내용을 정리해보려고 한다. [이상치(Outlier)] 이상치(Outlier)는 데이터들의 집합이 있을 때, 일정 패턴을 가지는 것과 대비해 좀 많이 떨어져 있는 값을 의미한다. 공정 이상치는 공정 수율에 영향을 미칠 수 있는 요인이기도 하다. 따라서 이상치가 발견됬다면 그 시점과 원인을 밝혀 공정을 안정상태로 수정해야 한다. [Local Outlier Factor(LOF)] LOF는 Unsu..