Ablation Study 하는 방법

논문을 보다보면, Experiment Part에서 다음과 같은 실험 표를 많이 볼 수 있었습니다. 

따라서 오늘은 Ablation Study에 대해 알아보겠습니다.

 

"Ablate"의 사전적 의미를 해석해 보면, '제거하다'라는 뜻이 있습니다. 

네이버 영어 사전

이처럼 논문에서 자주 등장하는 용어인 Ablation이란,

논문에서 제안한 딥러닝 모델 내에 적용되었던 여러 Method들을 하나씩 더해보거나 빼 본 후 성능을 비교하는 분석 방법입니다. 이렇게 비교해 봄으로써 해당 Method의 효과를 확인할 수 있습니다.   

 

RKT : Relation-Aware Self-Attention for Knowledge Tracing

 

예를 들어, 위 Table 5에서는 RKT라는 모델을 제안하면서 PE, RE, TE라는 3가지 Method를 적용합니다. 

따라서 Ablation Study에서는 PE, RE, TE를 각각 빼보면서 실험한 결과를 제시하였습니다.  

결과적으로 PE, RE, TE를 다 뺀 것과 다 포함한 것의 성능차이가 큰 것을 알 수 있고, 

특히 RE만을 뺐을 때의 성능이 급격히 낮아진것으로 보아 RE의 성능 기여도가 높았음을 알 수 있습니다. 

 

제가 참여하고 있는 연구에서도 Abalation을 하고있는 와중에 궁금증이 생겼습니다. 

각 method를 빼거나 더한 후 학습시키는 과정에서 끝까지 수렴할 때의 epoch이 저마다 다른데

그럼 epoch을 고정한 후 비교해야 하는지, epoch이 달라도 끝까지 수렴한 것끼리 비교해야 하는지가 궁금했습니다.

 

 

올바른 비교는 끝까지 수렴한 것끼리 비교하는 것이었습니다.