BERT 기반 각종 모델 핵심만 정리하기: ALBERT, RoBERTa, ELECTRA, SpanBERT, DistilBERT, TinyBERT, Distilling BERT into BiLSTM, BERTSUM, M-BERT, XLM, XLM-R, sentence-BERT, Multilingual sentence-BERT, ClinicalBERT, BART
2018년 등장한 BERT는 NLP Task에서 압도적인 성능을 보여줬습니다. 시간이 지난 지금 BERT를 기반의 다양한 모델이 많이 등장했습니다. 다양한 모델의 핵심적인 아이디어를 공유해보겠습니다. 혹시라도 틀린 부분이 있다면, 댓글로 알려주시길 바랍니다. 아래 내용은 수다르산 라비찬디란 저 구글 BERT의 정석을 많이 참고하여 작성했습니다. 이 글이 구글 BERT의 정석 요약 및 보충이라고 볼 수도 있겠습니다. 각 모델을 더 공부하고 싶은 분들은, 설명 시작 부분에 논문 링크를 넣었으니 논문을 읽어보시기 바랍니다. 구글 BERT의 정석 인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT. 이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부..
더보기
