치즈의 AI 녹이기

Gumbel softmax vs Softmax with temperature 본문

인공지능 대학원생의 생활/구글링

Gumbel softmax vs Softmax with temperature

개발자 치즈 2022. 3. 3. 15:42

공통적인 특징: temperature 값이 0에 가까울수록 one-hot vector가 추출됨. 

그러나  temperature 값이 0에 가까울수록 gradient값이 커지는 현상이 있어서, 초기 학습에서는 큰 값으로 학습했다가 점점 값을 줄이는 방향으로 진행함. 

 

두 수식의 차이

Gumbel softmax 사용 용도 : a technique that enables us to sample discrete random variables, in a way that is differentiable (and therefore suited for end-to-end deep learning). 

 

참고 링크 : https://datascience.stackexchange.com/questions/58376/gumbel-softmax-trick-vs-softmax-with-temperature

 

Gumbel-Softmax trick vs Softmax with temperature

From what I understand, the Gumbel-Softmax trick is a technique that enables us to sample discrete random variables, in a way that is differentiable (and therefore suited for end-to-end deep learni...

datascience.stackexchange.com