Gradient Descent Method

Batch Gradient Descent 

back propagation을 할 때, 모든 데이터 n개에 대해서 m개의 weight에 대해 진행한다.

결국, 1 epoch마다 nxm번의 미분 계산이 필요하다. 

n과 m이 수십만 개 단위이기 때문에 계산량이 굉장히 많고, 따라서 좀 더 효율적인 optimizing 방식을 찾게 된다.

 

Stochastic Gradient Descent 

한개의 데이터마다 한번씩 weight 업데이트.  

장점: 수렴속도가 batch gradient descent가 빠름. 

단점: 데이터마다 차이가 크면 loss가 튐. 

 

Mini-batch Gradient Descent 

mini-batch 사이즈만큼의 데이터마다 한번씩 weight 업데이트.  

장점: 수학적으로 batch gradient descent의 개념과 가까움.  

 

Momentum

더 좋은 local optimum을 찾아간다는 목적이 있음. 

모멘텀은 현재의 gradient 방향을 기준으로 wieght을 업데이트 한 후  과거의 gradient 방향을 한번 더 고려해서 weight 업데이트 함. 

 

장점: 과거 gradient의 exponential average로 업데이트 되기 때문에 학습 수렴 속도가 빨라짐.

특정 local optimum에서 벗어나 더 나은 local optimum을 탐색할 수 있음.

단점: 업데이트의 정도가 큼. 

 

Adagrad, RmsProp, Adam

더 좋은 local optimum을 찾아가려는 의도로 두가지 개선점을 제시

• learning rate가 고정된 값임. 초기에는 큰 값, 나중으로 갈수록 작은 값을 lr로 부여하는 것이 이상적이라고 생각하기 때문에 학습이 진행될 수록 lr이 바뀔 필요가 있음. 
• 항상 모든 weight이 동등하게 업데이트 되지 않음. 이는 loss function의 모양이 특정 weight의 방향으로는 초기에 업데이트가 힘들게 생긴 것일 수 있기 때문임. 

Adagrad

시간이 지날수록 gradient 업데이트 량을 축적하여 lr에 반영. 시간이 지날수록 lr이 작아짐. 

단점: 아직 수렴이 끝나지 않았는데, gradient 업데이트 량이 큰 경우, lr이 조기에 작아지면서 수렴이 늦어짐. 

RMSProp

Adagrad의 단점을 보완하여 과거 gradient의 exponential average값을 반영함.

결국, 시간이 지날수록 과거에 축적된 gradient 량의 기여도가 낮아짐. 

즉, 초기에 gradient값이 컸어도 작게 재조정 됨. 

Adam

RMSProp + Momentum 

여기에 m, G의 초기값이 편향되어 있는 점을 보완하여

unbiased expectation으로 보정 후, 비편향적으로 만들어준다는 특징이 있다.