치즈의 AI 녹이기

오늘은 Batch normalization(이하 BN), Layer normalization(이하 LN)에 대해 알아봅니다. BN: batch 내 모든 sample들의 각 feature마다 평균과 분산을 구하여 각 feature 단위로 정규화 LN: batch 내 모든 sample들의 평균과 분산을 구하여 각 sample 단위로 정규화 참고 사이트 : https://yonghyuc.wordpress.com/2020/03/04/batch-norm-vs-layer-norm/

Overfitting의 카운터는 Regularization이다. 저는 이렇게 외우기로 했습니다.. Regularization은 아래와 같은 방법 등이 있습니다. Early Stopping Dropout Weight Decay 오늘은 Weight Decay에 대해 다뤄보도록 합니다. 모델이 complex할수록, 가중치는 비교적 큰 값을 가지게 됩니다. 그래프를 보았을 때, 모델이 overfitting할수록, 크게 진동하는 함수를 보이는 현상과 같습니다. Weight dacay는 모델이 학습함에 따라 가중치도 따라서 커지지 않도록 하는 방법입니다. 그렇게 하기위해 기존 loss function에 가중치 값을 같이 줄일 수 있도록 항을 추가합니다. 보통 L1 Regularization(LASSO)와 L2 Re..

Hard negative mining is a triplet selection strategy that seeks hard triplets, by selecting for an anchor, the most similar negative sample. 참고 논문 : Hard negative examples are hard, but useful (https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123590120.pdf)

Teacher forcing is a strategy for training rnn networks that uses ground truth as input, instead of model output from a prior time step as an input. But, the approach can also result in models that may be fragile to test data. Curriculum learning, a variation of forced learning, involves randomly choosing to use the ground truth output or the generated output form the previous time step as input..

만약, pip install apex를 한 상태라면, 아래 코드를 먼저 실행합니다. pip uninstall apex 이 사이트에 들어가서 'Quick Start'를 참고해봅니다. #Linux, Python-only build (required with Pytorch 0.4) via git clone https://github.com/NVIDIA/apex cd apex pip install -v --disable-pip-version-check --no-cache-dir ./ 꼭! 실행할 파일(ex. main.py)이 있는 위치에 git clone하셔야 위 에러가 뜨지 않습니다.

한 개의 모델이 두 개 이상의 loss function을 갖고 있다면, pytorch에서는 어떻게 처리할까? #방법 1 loss1.backward() loss2.backward() loss3.backward() optimizer.step() #방법2 three loss = loss1+loss2+loss3 loss.backward() optimizer.step() 참고 링크 : https://stackoverflow.com/questions/12453580/how-to-concatenate-items-in-a-list-to-a-single-string

www.happycampus.com/intro-doc/25477421/ 2020 인공지능 대학원 전공면접 준비 자료 자기소개서 [선형대수] ☆▶Linearly independent(선형독립) 증명 1. 벡터들의 선형 결합이 영벡터일때, 계수가 모두 0 인 벡터들을 선형독립이라 한다. 각 벡터들을 행렬의 A 의 열로 두고, 2. null(A)에서 trivial solutio www.happycampus.com 소개글 *이 문서는 인공지능 대학원 전공 면접 기출 정보를 바탕으로 작성되었습니다. *면접을 준비하면서 정리한 내용과 합격 후 개인적인 후기를 적었습니다. *전공 서적과 강의 노트, 신뢰할 수 있는 인터넷 자료를 참고했습니다. *면접 준비시간을 효율적으로 활용할 수 있는 참고자료 정도로 이용해주시기 ..

1. 데이터 준비하기 원본 데이터에 대해서 파악하는 법 원본 데이터의 통계량 측정하기 (trian, validation, test 각각의 데이터 개수 등) 원본 데이터를 학습하는 데 걸리는 시간 측정하기 서브 데이터 생성하는 법 원본 데이터의 측정 값을 기반으로 원하는 비율만큼 서브 데이터를 생성한다. ex) train보다 validation에 걸리는 시간이 상대적으로 매우 클 경우, validation set을 작게 생성할 수 있음. 원본 데이터의 test set은 학습 데이터의 차이로부터 발생하는 모델 성능 결과의 차이를 비교하기 위해 그대로 유지하는 것이 좋다. 2. 모델 수정하기 모델의 주요한 기능을 차지하는 부분이 정말 효과가 있는지를 알기 위해 그 부분을 빼고 다른 것으로 대체한 것과 원래 것..