인코더 전용 트랜스포머
입력 텍스트의 문맥을 양방향으로 파악하는 데 특화된 구조로, 주로 분류나 감성 분석 등에 사용된다. 생성형 모델과 달리 텍스트의 의미를 이해하고 레이블을 지정하는 작업에 효율적이다.