Rta AI Labs, 레이어 공유 기술을 적용한 150M 초소형 모델 Nandi-Mini 공개

실용적 조언

에지 기기용 경량 모델을 찾는다면 Nandi-Mini의 레이어 공유 구조를 참고할 것

섹션별 상세

Nandi-Mini-150M은 150M 파라미터의 초소형 모델로 설계되어 온디바이스 및 에지 기기 활용을 목표로 한다. 16x2 레이어 공유 설정을 통해 실제로는 32개 레이어의 효과를 내며, 임베딩 분해 기법을 적용해 파라미터 효율성을 극대화했다. Hugging Face Transformers에 직접 PR을 제출하여 아키텍처 변경 사항을 구현했다는 점이 특징이다.

모델 학습은 영어와 10개 외국어를 포함한 총 525B 토큰 데이터셋을 사용하여 처음부터 진행됐다. 컨텍스트 길이는 2k로 설정되었으며, GQA와 RoPE 등 최신 효율화 기법들이 대거 적용됐다. 초소형 모델임에도 불구하고 구조적 완성도를 높이려는 시도가 돋보인다.

현재 공개된 모델 카드에 따르면 공식적인 벤치마크 결과는 아직 포함되지 않은 상태이다. 작성자는 이 모델이 SmolLM이나 Phi-1.5와 같은 기존 초소형 모델들과 비교했을 때 실질적인 성능이 어떠할지 커뮤니티의 테스트를 기대하고 있다. 파라미터 수가 매우 적기 때문에 성능보다는 효율성과 특정 구조적 실험의 성공 여부에 초점이 맞춰져 있다.

용어 해설

임베딩 분해(Factorized Embeddings): — 임베딩 행렬을 두 개의 작은 행렬의 곱으로 분해하여 파라미터 수를 획기적으로 줄이는 기법이다. 모델의 전체 크기를 줄이면서도 단어 간의 관계를 효과적으로 학습할 수 있어 초소형 모델 설계에 필수적이다.
레이어 공유(Layer Sharing): — 동일한 트랜스포머 레이어의 가중치를 여러 층에서 반복 사용하는 방식이다. 파라미터 수를 늘리지 않고도 모델의 깊이를 확보하여 복잡한 추론 능력을 개선하는 데 기여한다.
그룹화 쿼리 어텐션(GQA): — 쿼리 헤드를 그룹화하여 키-값 헤드를 공유하는 어텐션 메커니즘이다. 멀티 헤드 어텐션의 성능을 유지하면서도 추론 시 메모리 대역폭 요구량을 줄여 속도를 높인다.
회전 위치 임베딩(RoPE): — 토큰의 절대적 위치 대신 상대적 위치 관계를 회전 행렬로 표현하는 임베딩 기술이다. 학습 시보다 긴 문맥을 처리할 때 성능 저하가 적어 최신 LLM 아키텍처에서 널리 사용된다.
SwiGLU 활성화 함수(SwiGLU): — Swish 활성화 함수와 Gated Linear Unit을 결합한 구조이다. 기존 ReLU 대비 비선형 표현력이 뛰어나 모델의 학습 안정성과 최종 성능을 향상시키는 효과가 있다.

언급된 도구

Nandi-Mini-150M추천

온디바이스용 초소형 언어 모델

Hugging Face Transformers중립

모델 구현 및 배포 프레임워크

언급된 리소스

문서Nandi-Mini-150M Hugging Face Model Card