데알못정을

[regularization] 우리는 주어진 데이터를 가지고 어떤 예측을 수행할 때 모델을 만듭니다. 즉 prediction function 인데요, 이 함수가 우리가 가진 데이터를 너무 많이 fitting 할 경우엔 흔히 일반화 성능이 나오지 않는 과적합이 발생했다고 합니다. 따라서 모델이 학습하는 과정에서 어떤 규제를 주어 과적합을 방지 하겠다는 아이디어에서 나온 개념이 바로 ridge, lasso 규제 입니다. 우리의 모델이 선형모델인 경우에, 최소자승법(OLS)을 통해 loss 를 최소화 하는 조합의 weight를 구할 수 있는데, 여기 이 w^hat 이 바로 우리가 경험한 (empirical) 데이터에 대한 loss를 최소화하는 최적의 weight입니다. 규제를 걸어줄 경우에, min 값으로 묶..