치즈의 AI 녹이기

구글 드라이브 내 용량이 큰 파일은 로컬에서 다운받아 다시 외부 서버로 옮기는 것보다 바로 외부서버로 다운받는 것이 더 빠를 것 같아서 방법을 찾아보았습니다. 용량이 큰 파일의 경우 다음과 같은 안내 메시지가 뜰 것입니다. 해결 방법 1. 먼저 파일이름(까만색으로 가린 부분)에 마우스를 대고 우클릭 후, '링크 주소 복사'를 눌러줍니다. 2. 링크를 아무데나 붙여넣기 하면 다음과 같은 형식으로 나타날 것입니다. 3. 'id=' 이후에 까만색으로 가려진 부분만 커서로 선택하여 복사해줍니다. 4. 아래 코드를 터미널에 한 줄씩 차례대로 입력해줍니다. file_id는 3번에서 복사한 id를 붙여넣고, file_name은 다운로드 받을 파일 이름 그대로 써주시면 됩니다. file_id="" file_name="..

오늘은 Triplet Loss에 대해 다뤄보도록 합니다. Siamese Network classification task를 풀다보면, class imbalance 문제에 직면하게 됩니다. 어떤 클래스는 데이터의 개수가 매우 많고, 반대로 어떤 클래스는 데이터의 개수가 부족할 수 있습니다. One-Shot Learning은 각 클래스를 학습하기 위해 클래스마다 하나씩의 데이터를 이용하는 방법을 제안합니다. Siamese Network는 이러한 one-shot learning을 가능하게 하는 딥러닝 모델입니다. Siamese Network는 한 개의 Convolution Net을 가지고 두 개의 이미지로 이루어진 한 쌍을 인풋으로 넣어줍니다. 그러면 featuremap(또는 embedding) 한 쌍이 아웃..

오늘은 Metric Learning에 대해 다뤄보도록 합니다. 데이터 point 간 거리를 측정하기 위한 방법론들(Euclidean, Cosine..)이 존재하고 있지만, 특정 task, 또는 데이터에 맞는 distance metric이 필요하다는 취지로 metric learning이 등장하였습니다. 따라서 metric learning이란, 기계 학습을 이용하여 데이터로부터 task-specific한 distance metric을 자동으로 구성하는 방법입니다. 그 결과를 k-NN classification, clustering 등에서 활용할 수 있습니다. metric learning 문제는 두 가지 타입의 데이터 성격을 전제로 합니다. Supervised learning: 모든 데이터가 잘 라벨링되어 있..

오늘은 Batch normalization(이하 BN), Layer normalization(이하 LN)에 대해 알아봅니다. BN: batch 내 모든 sample들의 각 feature마다 평균과 분산을 구하여 각 feature 단위로 정규화 LN: batch 내 모든 sample들의 평균과 분산을 구하여 각 sample 단위로 정규화 참고 사이트 : https://yonghyuc.wordpress.com/2020/03/04/batch-norm-vs-layer-norm/

Overfitting의 카운터는 Regularization이다. 저는 이렇게 외우기로 했습니다.. Regularization은 아래와 같은 방법 등이 있습니다. Early Stopping Dropout Weight Decay 오늘은 Weight Decay에 대해 다뤄보도록 합니다. 모델이 complex할수록, 가중치는 비교적 큰 값을 가지게 됩니다. 그래프를 보았을 때, 모델이 overfitting할수록, 크게 진동하는 함수를 보이는 현상과 같습니다. Weight dacay는 모델이 학습함에 따라 가중치도 따라서 커지지 않도록 하는 방법입니다. 그렇게 하기위해 기존 loss function에 가중치 값을 같이 줄일 수 있도록 항을 추가합니다. 보통 L1 Regularization(LASSO)와 L2 Re..

Hard negative mining is a triplet selection strategy that seeks hard triplets, by selecting for an anchor, the most similar negative sample. 참고 논문 : Hard negative examples are hard, but useful (https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123590120.pdf)

Teacher forcing is a strategy for training rnn networks that uses ground truth as input, instead of model output from a prior time step as an input. But, the approach can also result in models that may be fragile to test data. Curriculum learning, a variation of forced learning, involves randomly choosing to use the ground truth output or the generated output form the previous time step as input..

만약, pip install apex를 한 상태라면, 아래 코드를 먼저 실행합니다. pip uninstall apex 이 사이트에 들어가서 'Quick Start'를 참고해봅니다. #Linux, Python-only build (required with Pytorch 0.4) via git clone https://github.com/NVIDIA/apex cd apex pip install -v --disable-pip-version-check --no-cache-dir ./ 꼭! 실행할 파일(ex. main.py)이 있는 위치에 git clone하셔야 위 에러가 뜨지 않습니다.