생성 과정을 직접 조절한다! 해석 가능한 개념 분해 기술을 탑재한 8.4B 확산 언어 모델
텍스트 생성, 개념 제어(Concept Steering), 모델 해석성 분석8.4B4K 컨텍스트apache-2.0
기존 자기회귀 방식이 아닌 확산(Diffusion) 기반으로 텍스트를 생성하며, 내부 개념을 직접 수정 및 제어할 수 있는 혁신적인 모델입니다.
핵심 역량
- 8.4B 파라미터 규모의 Causal Diffusion 아키텍처
- 33,732개의 해석 가능한 명시적 개념 분해 및 제어
- 신뢰도 기반의 반복적 토큰 언마스킹 생성 방식
- 4,096 토큰 컨텍스트 길이 지원
- GQA(Grouped Query Attention) 적용으로 효율적 추론
- bfloat16 정밀도 및 약 18GB VRAM 요구
알아두면 좋은 것
- 기존 LLM과 달리 신뢰도 순서로 토큰 마스크를 해제하며 텍스트를 생성하는 방식 채택
- 내부 상태를 알려진 특징(Known features)과 미지 특징(Unknown features)으로 분해하여 관리
- NVIDIA Nemotron-CC-HQ 및 AllenAI Dolmino Mix(수학) 데이터셋으로 학습
- Apache 2.0 라이선스로 상업적 이용 및 수정이 비교적 자유로움
100
Likes
1k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.