치즈의 AI 녹이기

오늘은 Metric Learning에 대해 다뤄보도록 합니다. 데이터 point 간 거리를 측정하기 위한 방법론들(Euclidean, Cosine..)이 존재하고 있지만, 특정 task, 또는 데이터에 맞는 distance metric이 필요하다는 취지로 metric learning이 등장하였습니다. 따라서 metric learning이란, 기계 학습을 이용하여 데이터로부터 task-specific한 distance metric을 자동으로 구성하는 방법입니다. 그 결과를 k-NN classification, clustering 등에서 활용할 수 있습니다. metric learning 문제는 두 가지 타입의 데이터 성격을 전제로 합니다. Supervised learning: 모든 데이터가 잘 라벨링되어 있..

오늘 가져온 것은 Embedding 클래스입니다. 위 코드에서 제가 주목한 점은 nn.Embedding으로 self.emb 변수를 초기화하는 46번 줄의 코드입니다. sparse argument를 사용하고 있어 이에 대해 구글링 해보았습니다. 해당 동영상을 참고하여 sparse = False일 때와 True일때를 비교해 보면, 위 코드를 작성해서 나온 결과, 처음에 10 x 10으로 초기화했던 embedding의 매개변수들의 변화도(gradient)값입니다. 이번엔 sparse=True로 두었을 때 결과값을 보겠습니다. 즉, 변화도에서 0이 아닌 것만 weight 업데이트 되도록 해줍니다. memory 절약에 도움이 될것 같습니다. Embedding 코드의 출처는 앞선 글에서 언급하였습니다.

닮고자하는 작가의 글을 필사하며 글쓰는 실력을 키우듯, 좋은 개발자의 코드를 읽다보면 어느새 나도 코드를 짜는 실력이 늘어간다. 이 카테고리에서는 같은 연구실 동료가 작성한 코드 https://github.com/uoo723/M2m_text를 쭉 읽어보면서 내가 몰랐던 것, 새로 알게된 것을 정리해보려고 한다.

요즘 식단 조절 & 운동을 하고 있는데, 처음 해보는 다이어트라 조금이라도 올바른 방향으로 해보고 싶어서 관련 앱 'Noom'(눔)을 결제해서 사용해보고 있다. 지금까지 개인 코치님에게 배운 것을 간단히 정리해보려고 한다. 외식할 때 식사량 줄여보기 -> 체중 감량에 효과가 생길 것! 외식을 할때는 폭탄주보다는 1가지 주종을 선택하는 것이 좋음. 도수가 낮은 맥주를 추천 단백질 위주의 안주 선택은 바람직함! 거기다 과식을 예방해줄 쌈채소를 듬뿍 먹어주기 취침 4시간 전 식사를 마치면 소화가 용이해지고, 지방 축적으로 이어지는 것을 줄여줌. 알코올은 뇌를 마비시켜 더 많은 양을 먹게하고, 식욕을 촉진시키기 때문에 주의하기! 알코올 대신 물이나 콤부차, 탄산수 마셔보기 공복 유산소 운동은 근손실을 유발할 수..

논문 3개 목록 Modeling Context Pair Interaction for Pairwise Tasks on Graphs Say No to the Discrimination: Learning Fair Graph Neural Networks with Limited Sensitive Attribute Information Time-Series Event Prediction with Evolutionary State Graph 이 글이 도움이 되셨다면, 아래에 댓글 부탁드립니다. If this page was helpful, please leave a comment.

LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification (AAAI 2021) 이 글이 도움이 되셨다면, 아래에 댓글 부탁드립니다. If this page was helpful, please leave a comment.

오늘은 Batch normalization(이하 BN), Layer normalization(이하 LN)에 대해 알아봅니다. BN: batch 내 모든 sample들의 각 feature마다 평균과 분산을 구하여 각 feature 단위로 정규화 LN: batch 내 모든 sample들의 평균과 분산을 구하여 각 sample 단위로 정규화 참고 사이트 : https://yonghyuc.wordpress.com/2020/03/04/batch-norm-vs-layer-norm/

Overfitting의 카운터는 Regularization이다. 저는 이렇게 외우기로 했습니다.. Regularization은 아래와 같은 방법 등이 있습니다. Early Stopping Dropout Weight Decay 오늘은 Weight Decay에 대해 다뤄보도록 합니다. 모델이 complex할수록, 가중치는 비교적 큰 값을 가지게 됩니다. 그래프를 보았을 때, 모델이 overfitting할수록, 크게 진동하는 함수를 보이는 현상과 같습니다. Weight dacay는 모델이 학습함에 따라 가중치도 따라서 커지지 않도록 하는 방법입니다. 그렇게 하기위해 기존 loss function에 가중치 값을 같이 줄일 수 있도록 항을 추가합니다. 보통 L1 Regularization(LASSO)와 L2 Re..