치즈의 AI 녹이기

커스터마이징 한 multihead attention class를 적용했을 때 다른 것들 보다도 유독 backward 속도가 느려 원인을 찾는 중이다. 원래대로라면 0.02 초 정도가 나와야 한다. 1. 모델 구조상 학습할 파라미터가 많아서 그런 것인가? 유일한 구조상 차이라고 한다면, RelativePosition이라는 클래스 두 개를 새롭게 정의한 것이다. 해당 클래스 내부의 파라미터라곤, max_length, head_dim 크기의 embedding matrix 하나. 이 또한 크기가 크지 않다고 판단했다. 2. 모든 모델 내 텐서가 같은 device에 할당되어 있는가? (cpu에 할당되어 있는 텐서가 있는가?) .get_device()로 의심이 갈만한 요소들을 체크했으나, 문제 없었다. 3. 계산이..

kwargs는 dict 타입으로 복수 개의 인자들을 한번에 넣을 수 있어 함수 초기화를 할 때 간단화할 수 있다는 장점이 있습니다. kwargs의 위치는 항상 마지막에 있어야 하며, kwargs라는 이름 말고 다른 이름으로 변경해도 괜찮습니다.

이 글이 도움이 되셨다면, 아래에 댓글 부탁드립니다. If this page was helpful, please leave a comment.

Optuna를 적용하는 과정에서 그 중에서도 TPESampler를 선택할 때, 하이퍼파라미터를 search space 내에서 샘플링하는 과정에서 똑같은 조합이 반복해서 뽑히는 문제점을 발견하였다. 이를 해결하는 코드를 아래 stackoverflow 링크를 참고하여 작성하였다. 코드에 따르면, 이미 탐색 완료한 trial을 선택한 경우 바로 탐색 결과값을 리턴해주어 재학습을 막는 기능을 한다. 위 예시는 총 경우의 수가 9일 경우, 반복되는 값을 재학습하지 않고 바로 출력하는 횟수까지 포함하여 3번 이상 탐색을 멈추는 코드를 짜보았다. 출력 결과에서도 볼 수 있듯이, 앞서 선택한 하이퍼파라미터들에 대하여 바로 이전 결과를 출력해 넘어간다. 참고 링크: https://stackoverflow.com/ques..

하이퍼파라미터 서치를 위한 Bayesian Optimization 방법에 대해 다룬다. Bayesian Optimization이란, 미지의 함수가 반환하는 최대/최소 값을 짧은 반복을 통해 찾아내는 최적화 방식이다. 데이터 관측치를 관찰하며 사후확률 분포(Posterior probability)업데이트 surrogate model : 추론한 결과들을 바탕으로 미지의 함수의 값을 추정 gaussian process: 추정을 위한 방법 acquisition function: surrogate model의 확률 분포를 이용해서 나온 확률분포를 이용해 지금까지 나온 값들보다 더 큰 값이 나올 가능성이 제일 높은 점을 알려주는 함수 (큰 값일수록 최적에서 멀어짐) 위 그래프에서 회색영역은 미지의 함수가 존재할 신..

pip install torch --upgrade version==1.10.1 1. 내 CUDA 버젼 확인하기 watch nvidia-smi 2. 해당 사이트에서 자신의 CUDA버젼과 호환이 되는 torch 버젼 알기 cu111은 CUDA 버젼 11.1의 경우 이므로, 10.1의 경우 101로 교체하면 됨. (https://download.pytorch.org/whl/cu111/torch_stable.html) 나는 CUDA 11.0으로 검색해서 맞는 명령어를 찾아준다. 3. 내 conda 가상환경에 깔린 패키지 목록 확인하여 torch 버젼 확인 conda env list 현재 ipython으로 import torch해서 버젼 확인했을 때는 1.7.0인데 가상환경에 깔린 torch는 1.9.0이 있는 ..