encoder-only-model

Transformer 아키텍처에서 입력 텍스트의 의미를 이해하고 벡터로 변환하는 인코더 부분만 사용하는 구조이다. BERT가 대표적이며, 텍스트 생성보다는 분류, 개체명 인식, 문장 유사도 측정 등 텍스트의 맥락을 파악하는 작업에 최적화되어 있다.