서로 다른 학습 모델을 비교하는 방법

1. 데이터 준비하기 

 

원본 데이터에 대해서 파악하는 법

• 원본 데이터의 통계량 측정하기 (trian, validation, test 각각의 데이터 개수 등)
• 원본 데이터를 학습하는 데 걸리는 시간 측정하기 

서브 데이터 생성하는 법

• 원본 데이터의 측정 값을 기반으로 원하는 비율만큼 서브 데이터를 생성한다.
  ex) train보다 validation에 걸리는 시간이 상대적으로 매우 클 경우, validation set을 작게 생성할 수 있음.
• 원본 데이터의 test set은 학습 데이터의 차이로부터 발생하는 모델 성능 결과의 차이를 비교하기 위해 그대로 유지하는 것이 좋다.

2. 모델 수정하기

• 모델의 주요한 기능을 차지하는 부분이 정말 효과가 있는지를 알기 위해 그 부분을 빼고 다른 것으로 대체한 것과 원래 것의 성능을 비교해볼 수 있다. 
  ex) transformer encoder에서 사용되는 attention mechanism이 정말 효과가 있는지를 알기 위해 그 부분을 빼는 대신 dnn을 넣어보고 성능을 비교해볼 수 있음.