Knowledge Distillation

Knowledge Distillation, 지식 증류란, 

Teacher Network로부터 추출(증류)한 지식을 Student Network로 transfer하는 과정을 말한다. 

 

등장 배경

이 방법론은 모델 배포(model deployment)에서 기원하였다.

높은 성능을 갖지만 용량, 예측시간의 효율성이 떨어지는 모델(Teacher Network)과 

Teacher Network보다 상대적으로 성능은 낮지만 용량, 예측시간의 효율성이 있는 모델(Student Network)이 있을때, 

Teacher가 가진 장점을 Student Network에 전달하는 방법을 고안한 것이다. 

 

방법

1) Soft Label

classification 예측 단계에서 softmax를 통과해 나온 확률분포가 예를 들어 다음과 같다고 하자.

개	소	고양이	오리
0.7	0.08	0.2	0.02

이때, 정답 class(개)을 제외한 class(소, 고양이, 오리)에 대한 확률 값이 모델이 갖고 있는 '지식'이라고 간주한다. 

따라서 이러한 지식을 무시하지 않기 위해 제외한 class 확률 값들이 너무 작아지지 않도록 softmax temperature를 적용한다. 

2) Distillation loss

먼저 teacher model(T)을 학습한 후, 손실함수를 이용하여 T가 학습한 지식을 student model(S)에 넘긴다. 

https://intellabs.github.io/distiller/knowledge_distillation.html

Domain adaptation of DNN acoustic models using knowledge distillation