modernbert

기존 BERT 아키텍처를 현대적인 연구 결과(Flash Attention, Rotary Position Embeddings 등)를 반영하여 개선한 인코더 모델이다. 긴 컨텍스트 처리에 최적화되어 있으며 효율적인 추론을 지원한다.