mmBERT-small
경량화된 멀티모달 BERT 계열 인코더로서 입력 문서를 Transformer 인코더로 임베딩해 여러 헤드가 이를 기반으로 분류를 수행한다. 본 게시물 맥락에서는 공통 인코더로 사용되어 최대 일곱 개 분류 헤드의 입력 표현을 공유하게 한다.
