Weight decay

Overfitting의 카운터는 Regularization이다. 저는 이렇게 외우기로 했습니다..

 

Regularization은 아래와 같은 방법 등이 있습니다.

• Early Stopping
• Dropout
• Weight Decay

오늘은 Weight Decay에 대해 다뤄보도록 합니다. 

 

모델이 complex할수록, 가중치는 비교적 큰 값을 가지게 됩니다. 

그래프를 보았을 때, 모델이 overfitting할수록, 크게 진동하는 함수를 보이는 현상과 같습니다. 

 

from Wikipedia

Weight dacay는 모델이 학습함에 따라 가중치도 따라서 커지지 않도록 하는 방법입니다.

그렇게 하기위해 기존 loss function에 가중치 값을 같이 줄일 수 있도록 항을 추가합니다. 

보통 L1 Regularization(LASSO)와 L2 Regularization(Ridge)를 사용합니다.