Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- 라섹 수술 후기
- 디버깅
- Knowledge Tracing
- 바프준비
- 연구 시작
- 건강
- 하체운동
- 개인 PT
- 개발자
- 암풀다운
- 다이어트
- 코딩테스트
- 코드
- 코테 공부
- 개인 운동
- 영화 비평
- 덤벨운동
- pytorch
- 운동
- 개인 피티
- 데드리프트
- PT 운동
- 프로그래머스
- github
- 체스트프레스
- 오블완
- 바디프로필
- 코테준비
- 티스토리챌린지
- 논문 리뷰
Archives
- Today
- Total
치즈의 AI 녹이기
BERT와 RoBERTa의 차이점 본문
모델 구조에 있어서 RoBERTa는 BERT와 똑같습니다.
차이점은 다음과 같습니다.
- RoBERTa는 BPE Tokenizer를 더 큰 단어 사전을 갖고 사용한다.
- RoBERTa는 dynamic word masking을 적용하고, nsp를 없앴다.
- RoBERTa의 하이퍼 파라미터들.
참고 링크 : https://skimai.com/roberta-language-model-for-spanish/
Tutorial: How to train a RoBERTa Language Model for Spanish - by Skim AI
Tutorial on how to train and fine-tune a RoBERTa language model for Spanish from scratch. Part of a series on using BERT for NLP use cases
skimai.com
'인공지능 대학원생의 생활 > 구글링' 카테고리의 다른 글
| Beam Search (0) | 2021.10.28 |
|---|---|
| Git에 requirements.txt 생성하기 (0) | 2021.07.27 |
| 대용량 파일 압축 풀기 (tar.gz) (0) | 2021.07.20 |
| 구글 드라이브 대용량 파일을 터미널에서 바로 다운받기 (0) | 2021.07.12 |
| Triplet Loss (0) | 2021.07.09 |
'인공지능 대학원생의 생활/구글링' Related Articles
more
