TL;DR

이 모델은 nreimers/MiniLM-L6-H384-uncased를 기반으로 1B 문장 쌍 이상에 Fine-tuning한 sentence-transformers 임베딩 모델입니다. 입력 문장이나 짧은 문단을 384차원 dense vector로 변환하며, 배치 안의 모든 문장 쌍에 cosine similarity를 계산한 뒤 실제 연결된 쌍을 맞히도록 contrastive learning을 적용합니다. 의미 검색, 문장 유사도 비교, 클러스터링에 적합하지만 256 word pieces를 넘는 입력은 잘립니다.

핵심 포인트

• MiniLM 기반 모델을 1,170,060,424개 문장 쌍에 Fine-tuning해 대규모 의미 표현을 학습했습니다.
• 배치의 문장 쌍마다 cosine similarity를 계산하고 실제 쌍을 분류하는 contrastive objective를 사용합니다.
• SentenceTransformer.encode가 입력을 바로 384차원 벡터로 변환하며 의미 검색과 클러스터링에 활용됩니다.
• Transformers만 사용할 때는 attention mask를 반영한 mean pooling과 L2 정규화가 추가로 필요합니다.

제한사항