700KB 크기의 초경량·초고속 정적 임베딩 모델 'Potion' 제품군 공개

작성자가 직접 개발한 모델의 놀라운 속도와 작은 크기에 대해 긍정적인 반응이 예상되며, 특히 에지 컴퓨팅과 대규모 배치 처리에 대한 관심이 높다.

• 브라우저 확장 프로그램이나 임베디드 시스템에서 임베딩 기능이 필요할 때 potion-mxbai-micro 모델 사용을 권장한다.
• 수천만 건의 문서를 CPU만으로 빠르게 처리해야 하는 배치 작업에 256d 모델을 적용하면 비용을 크게 절감할 수 있다.

• Potion 모델군은 Transformer 아키텍처 대신 순수 룩업 테이블 방식을 사용하여 추론 시 신경망 연산 없이 NumPy만으로 작동한다.
• 가장 작은 micro 모델은 어휘 양자화 기술을 통해 700KB 크기로 압축되었음에도 MTEB 벤치마크에서 68.12점의 실용적인 성능을 달성했다.
• i7 CPU 기준 초당 최대 18,000개의 문장을 처리할 수 있어 GPU 없이도 대규모 문서 배치를 단시간에 저비용으로 처리 가능하다.
• 모델 로딩 시간이 밀리초 단위로 매우 짧아 서버리스 함수, CLI 도구, 에지 디바이스 등 즉각적인 응답이 필요한 환경에 최적화되어 있다.