GuppyLM: 물고기처럼 말하는 900만 파라미터 초소형 언어 모델

섹션별 상세

LLM 학습의 복잡성을 제거하고 누구나 접근 가능한 교육용 모델을 목표로 한다. 거대 GPU 클러스터나 박사 학위 없이도 구글 코랩에서 5분 만에 전체 학습 과정을 완료할 수 있는 환경을 제공한다. 이를 통해 블랙박스로 여겨지는 대형 모델의 작동 원리를 밑바닥부터 이해할 수 있게 돕는다.

GuppyLM 프로젝트의 로고로, 물고기 형상이 이진수 데이터로 변하는 모습을 형상화했다. — Other이 이미지는 프로젝트의 핵심 정체성인 '데이터로 만들어진 물고기 AI'를 시각적으로 잘 나타낸다. 모델이 단순한 텍스트 생성을 넘어 특정 캐릭터(물고기)를 학습했음을 상징한다.

870만 개의 파라미터를 가진 단순한 바닐라 트랜스포머 아키텍처를 채택했다. GQA, RoPE, SwiGLU와 같은 최신 기법을 배제하고 표준 어텐션, ReLU 활성화 함수, 레이어 정규화만을 사용하여 코드의 가독성과 교육적 가치를 높였다. 6개의 레이어와 384의 은닉 차원을 통해 브라우저에서도 실행 가능한 가벼운 성능을 구현했다.

bash

pip install torch tokenizers
python -m guppylm chat

로컬 환경에서 GuppyLM과 대화를 시작하기 위한 설치 및 실행 명령

60가지 주제를 다루는 6만 개의 합성 대화 데이터셋을 활용해 모델의 페르소나를 구축했다. 템플릿 기반의 데이터 생성을 통해 수조, 먹이, 거품 등 물고기의 시각에서 세상을 바라보는 일관된 답변 스타일을 학습시켰다. 별도의 시스템 프롬프트 없이 가중치 자체에 성격이 내재되어 있어 추론 시 토큰 소모를 줄이는 효율성을 보여준다.

python

from datasets import load_dataset
ds = load_dataset("arman-bd/guppylm-60k-generic")
print(ds["train"][0]) # {'input': 'hi guppy', 'output': 'hello. the water is nice today.', 'category': 'greeting'}

HuggingFace에서 GuppyLM 학습용 합성 데이터셋을 불러오는 예시

128 토큰의 짧은 컨텍스트 윈도우를 고려하여 단일 턴 대화 방식에 최적화했다. 멀티 턴 대화 시 발생할 수 있는 출력 품질 저하를 방지하기 위해 신뢰성 높은 단답형 구조를 선택했다. 이는 물고기라는 캐릭터의 특성과도 잘 어우러져 사용자에게 일관된 경험을 제공한다.

용어 해설

바닐라 트랜스포머(Vanilla Transformer): — 최신 최적화 기법인 GQA, RoPE, SwiGLU 등을 배제하고 표준 어텐션과 ReLU 활성화 함수만을 사용하는 가장 기본적인 형태의 트랜스포머 구조이다. 모델의 작동 원리를 가장 명확하게 보여주어 교육용 및 기초 연구용으로 적합하다.
바이트 페어 인코딩(BPE): — 텍스트 데이터를 토큰 단위로 분절할 때 자주 등장하는 문자열 쌍을 하나의 토큰으로 병합하는 알고리즘이다. 어휘 사전의 크기를 효율적으로 관리하면서도 미등록 단어 문제를 해결하는 데 효과적이다.
가중치 공유 임베딩(Weight-tied Embeddings): — 입력 임베딩 층과 출력층(LM Head)의 가중치 행렬을 동일하게 공유하여 사용하는 기법이다. 전체 파라미터 수를 줄이면서도 모델의 성능을 유지하거나 향상시킬 수 있어 소형 모델 설계에 유용하다.
합성 데이터(Synthetic Data): — 실제 세계에서 수집한 데이터가 아닌 알고리즘이나 템플릿을 통해 인위적으로 생성한 데이터이다. 특정 페르소나나 도메인에 특화된 학습 데이터를 저비용으로 대량 확보할 수 있다는 장점이 있다.

기술

PyTorch
Tokenizers
Hugging Face
Google Colab

활용 사례

LLM 교육 및 실습
특정 캐릭터 페르소나 구현
초소형 온디바이스 AI 모델 연구

언급된 리소스

GitHubGuppyLM GitHub Repository

문서GuppyLM 60k Generic Dataset

문서GuppyLM Pre-trained Model