NDCG: 아이템 랭킹 추천에서 사용되는 평가 지표

추천은 크게 두 가지 방식으로 나누어지며, 각각의 평가지표가 다르다. 

1. Rating oriented: 아이템에 대한 평점 예측 -> MSE, RMSE, Accuracy, Precision, Recall, F1-score

2. Ranking oriented: 아이템의 순위 예측 -> MRR. MAP, NDCG

 

이번 글에서는 Ranking oriented recommendation metric에 대해서 주로 다룬다. 

해당 지표는 recommended item 중 relevant item이 얼마나 차지하는 지 측정하는 지표이다. 

• relevant item : 사용자가 실제로 선호하는 아이템
• recommended item : 추천된 아이템 

1. Precision N: 추천된 Top N 아이템 중에 실제 관련된 아이템의 개수

2. Recall N: 실제 관련된 아이템 중 Top N 내 맞힌 아이템의 개수 

3. Mean Reciprocal Rank (MRR)

Top N 아이템 셋 내에서 처음 등장하는 관련 아이템의 순위만을 고려하는 지표. 

최종적으로 모든 유저에 대하여 평균값을 계산함. 

 

4. Mean Average Precision (MAP)

Top N 아이템 셋 내에서 실제로 관련된 아이템에 한하여 precision의 평균값.

최종적으로 모든 유저에 대하여 평균값을 계산함. 

 

5. Normalized Discounted Cumulative Gain (NDCG)

Discounted Cumulative Gain이란, 순위의 위치를 고려해서 뒤로 갈수록 패널티를 주는 방법.

DCG: 실제 관련 아이템에 대하여 구함 

IDCG: 예측한 아이템에 대하여 구함

NDCG = DCG / IDCG