핵심 역량

• 텍스트 생성
• 언어 이해 및 추론
• 저전력 환경에서의 실시간 추론
• 메모리 효율적 모델 배포

강점

• 기존 FP16 모델 대비 추론 시 에너지 소비 대폭 절감
• 행렬 곱셈을 덧셈 연산으로 대체하여 계산 복잡도 감소
• 2B 파라미터 규모에서 4T 토큰 학습을 통한 높은 지식 밀도

훈련 방식

BitNet b1.58 아키텍처 기반의 1.58비트 양자화 학습, 4조 개의 토큰을 사용한 대규모 사전 학습

알아두면 좋은 것

• 가중치를 -1, 0, 1로 제한하는 1.58비트 양자화 아키텍처 적용
• 4T(4조) 개의 대규모 토큰 데이터셋으로 사전 학습 수행
• MIT 라이선스로 상업적 이용 및 수정이 자유로움
• FP16 모델 대비 이론적으로 대폭 향상된 추론 속도와 에너지 효율 제공