치즈의 AI 녹이기

Optuna를 적용하는 과정에서 그 중에서도 TPESampler를 선택할 때, 하이퍼파라미터를 search space 내에서 샘플링하는 과정에서 똑같은 조합이 반복해서 뽑히는 문제점을 발견하였다. 이를 해결하는 코드를 아래 stackoverflow 링크를 참고하여 작성하였다. 코드에 따르면, 이미 탐색 완료한 trial을 선택한 경우 바로 탐색 결과값을 리턴해주어 재학습을 막는 기능을 한다. 위 예시는 총 경우의 수가 9일 경우, 반복되는 값을 재학습하지 않고 바로 출력하는 횟수까지 포함하여 3번 이상 탐색을 멈추는 코드를 짜보았다. 출력 결과에서도 볼 수 있듯이, 앞서 선택한 하이퍼파라미터들에 대하여 바로 이전 결과를 출력해 넘어간다. 참고 링크: https://stackoverflow.com/ques..

하이퍼파라미터 서치를 위한 Bayesian Optimization 방법에 대해 다룬다. Bayesian Optimization이란, 미지의 함수가 반환하는 최대/최소 값을 짧은 반복을 통해 찾아내는 최적화 방식이다. 데이터 관측치를 관찰하며 사후확률 분포(Posterior probability)업데이트 surrogate model : 추론한 결과들을 바탕으로 미지의 함수의 값을 추정 gaussian process: 추정을 위한 방법 acquisition function: surrogate model의 확률 분포를 이용해서 나온 확률분포를 이용해 지금까지 나온 값들보다 더 큰 값이 나올 가능성이 제일 높은 점을 알려주는 함수 (큰 값일수록 최적에서 멀어짐) 위 그래프에서 회색영역은 미지의 함수가 존재할 신..

pip install torch --upgrade version==1.10.1 1. 내 CUDA 버젼 확인하기 watch nvidia-smi 2. 해당 사이트에서 자신의 CUDA버젼과 호환이 되는 torch 버젼 알기 cu111은 CUDA 버젼 11.1의 경우 이므로, 10.1의 경우 101로 교체하면 됨. (https://download.pytorch.org/whl/cu111/torch_stable.html) 나는 CUDA 11.0으로 검색해서 맞는 명령어를 찾아준다. 3. 내 conda 가상환경에 깔린 패키지 목록 확인하여 torch 버젼 확인 conda env list 현재 ipython으로 import torch해서 버젼 확인했을 때는 1.7.0인데 가상환경에 깔린 torch는 1.9.0이 있는 ..

메모리 사용량 확인 free -m drop_caches를 3으로 조정 (=pagecache, dentries, inodes 캐시 메모리 영역을 해제) permission denied error 같이 해결 sudo sh -c "echo 3 > /proc/sys/vm/drop_caches" 참조: http://egloos.zum.com/studyfoss/v/5204344 [bash] root 권한으로 redirection 사용하기 간혹 커널 설정을 바꿀 때에 sudo와 함께 echo 명령을 실행해도permission denied 에러가 나고 실행되지 않는 경우가 있을 것이다.$ sudo echo 1 > /proc/sys/vm/drop_caches bash: /proc/sys/vm/drop_caches: Pe..

설치된 모든 패키지 목록 확인 pip list 특정 패키지 삭제 pip uninstall 특정 패키지 원하는 버젼으로 설치 pip install ==version #

가상환경이나 현재 python에 설치해 놓은 패키지 목록을 생성하고 설치하는 방법입니다. 1. 생성 pip freeze > requirements.txt 2. 설치 pip install -r requirements.txt

scp -P -r @:~//

가설검정이란, 모집단의 특징에 대한 통계적 가설을 추출된 표본을 통하여 검토하는 추론 방법이다. 대립가설 : 주장하고자 하는 사실 귀무가설: 기각하고자 하는 사실 방법 : 검정 통계량을 구한 뒤 일정 기준을 만족시키는 가를 확인함 일정 기준의 척도는 유의 수준과 p값이 됨. p값(유의 확률) : 귀무가설이 옳다는 가정 하에 검정 통계량(귀무가설보다 극단적인 결과가 실제로 관측될 확률) 유의수준 : 1종 오류의 상한선, 1종 오류가 일어날 확률의 최대허용치 이는 귀무가설이 옳은데 실수로 기각될 확률(1종 오류)를 범하게 될 확률을 최소화 하기 위함 만약 귀무가설이 옳다는 가정 하에 검정 통계량이 계산될 확률인 p값이 정해진 유의수준을 넘어선다면, 1종 오류를 범할 가능성이 커졌다고 간주하고, 귀무가설을 함..