Rta AI Labs, 레이어 공유 기술을 적용한 150M 초소형 모델 Nandi-Mini 공개

새로운 아키텍처 시도에 대해 긍정적인 호기심을 보이고 있으며, 특히 기존 초소형 모델들과의 성능 비교를 기대하는 분위기이다.

• 에지 기기용 경량 모델을 찾는다면 Nandi-Mini의 레이어 공유 구조를 참고할 것

Factorized Embeddings

— 임베딩 행렬을 두 개의 작은 행렬의 곱으로 분해하여 파라미터 수를 획기적으로 줄이는 기법이다. 모델의 전체 크기를 줄이면서도 단어 간의 관계를 효과적으로 학습할 수 있어 초소형 모델 설계에 필수적이다.

Layer Sharing

— 동일한 트랜스포머 레이어의 가중치를 여러 층에서 반복 사용하는 방식이다. 파라미터 수를 늘리지 않고도 모델의 깊이를 확보하여 복잡한 추론 능력을 개선하는 데 기여한다.

GQA

— 쿼리 헤드를 그룹화하여 키-값 헤드를 공유하는 어텐션 메커니즘이다. 멀티 헤드 어텐션의 성능을 유지하면서도 추론 시 메모리 대역폭 요구량을 줄여 속도를 높인다.

RoPE

— 토큰의 절대적 위치 대신 상대적 위치 관계를 회전 행렬로 표현하는 임베딩 기술이다. 학습 시보다 긴 문맥을 처리할 때 성능 저하가 적어 최신 LLM 아키텍처에서 널리 사용된다.

SwiGLU

— Swish 활성화 함수와 Gated Linear Unit을 결합한 구조이다. 기존 ReLU 대비 비선형 표현력이 뛰어나 모델의 학습 안정성과 최종 성능을 향상시키는 효과가 있다.