양방향성
텍스트를 처리할 때 특정 단어의 앞(왼쪽)과 뒤(오른쪽) 문맥을 동시에 고려하는 방식이다. BERT가 이 방식을 채택하여 단어의 중의성을 해소하고 정확한 의미를 파악하는 데 활용한다.