Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 개발자
- 논문 리뷰
- 티스토리챌린지
- 프로그래머스
- PT 운동
- 바프준비
- 코딩테스트
- 다이어트
- Knowledge Tracing
- 라섹 수술 후기
- 코테 공부
- github
- 덤벨운동
- 개인 PT
- 데드리프트
- 코테준비
- 운동
- 연구 시작
- 하체운동
- 코드
- 디버깅
- 개인 운동
- 바디프로필
- 오블완
- 영화 비평
- 건강
- 체스트프레스
- pytorch
- 개인 피티
- 암풀다운
Archives
- Today
- Total
치즈의 AI 녹이기
Batch normalization vs Layer normalization 본문
오늘은 Batch normalization(이하 BN), Layer normalization(이하 LN)에 대해 알아봅니다.
BN: batch 내 모든 sample들의 각 feature마다 평균과 분산을 구하여 각 feature 단위로 정규화
LN: batch 내 모든 sample들의 평균과 분산을 구하여 각 sample 단위로 정규화
참고 사이트 : https://yonghyuc.wordpress.com/2020/03/04/batch-norm-vs-layer-norm/
'인공지능 대학원생의 생활 > 구글링' 카테고리의 다른 글
| Triplet Loss (0) | 2021.07.09 |
|---|---|
| Metric Learning (0) | 2021.07.08 |
| Weight decay (0) | 2021.06.24 |
| Hard Negative Mining (0) | 2021.06.22 |
| Teacher Forcing (0) | 2021.06.22 |
'인공지능 대학원생의 생활/구글링' Related Articles
more
