Gumbel softmax vs Softmax with temperature

공통적인 특징: temperature 값이 0에 가까울수록 one-hot vector가 추출됨. 

그러나  temperature 값이 0에 가까울수록 gradient값이 커지는 현상이 있어서, 초기 학습에서는 큰 값으로 학습했다가 점점 값을 줄이는 방향으로 진행함. 

 

두 수식의 차이

Gumbel softmax 사용 용도 : a technique that enables us to sample discrete random variables, in a way that is differentiable (and therefore suited for end-to-end deep learning). 

 

참고 링크 : https://datascience.stackexchange.com/questions/58376/gumbel-softmax-trick-vs-softmax-with-temperature

Gumbel-Softmax trick vs Softmax with temperature