목록Attention (1)

No Story, No Ecstasy

자연어 처리 - Transformer, Bert, GPT-3

1. Transformer . 자연어 처리 분야에서 기존 RNN 계열의 모델들이 갖고 있던 문제를 해결해줌 . 기존의 순차적인 연산에서 벗어나 병렬처리가 가능한 모델로 우수한 성능을 보임 . Multi-head self-attention을 이용해 순차적 연산을 줄이고, 더 많은 단어들 간 dependency를 모델링하는 게 핵심 . 대표적인 모델이 BERT (Bidirectional Encoder Representations from Transformers) . 2020년에는 기존 GPT 모델의 크기를 비약적으로 키운 GPT-3가 등장 . BERT와 달리 GPT-3는 디코더 기반 fine-tuning이 필요 없음 . Few-Shot Learning만으로도 응용 태스크에서 우수한 성능을 달성함 2. 기계번..
Data Science Series 2021. 5. 30. 17:57
이전 Prev 1 Next 다음