Sisyphus: RTX 4060 Ti에서 처음부터 학습시킨 25.6M 파라미터 규모의 Rust 특화 언어 모델

커뮤니티 반응

작성자의 시스템 프로그래밍 접근 방식과 구체적인 성능 지표 공유에 대해 긍정적인 반응이 예상되며, 특히 하이브리드 어텐션의 실효성에 대한 기술적 호기심이 높다.

주요 논점

01찬성다수

소규모 모델에서도 하이브리드 어텐션과 데이터 확장이 실질적인 성능 향상을 가져온다.

합의점 vs 논쟁점

합의점

데이터셋 확장이 모델 성능 향상의 가장 큰 요인이다
HybridAttention은 추론 속도 면에서 압도적인 이점이 있다

실용적 조언

특정 언어 모델 학습 시 공식 문서뿐만 아니라 생태계 전반의 코드를 포함하여 코퍼스를 확장할 것
추론 속도 최적화를 위해 Triton 커널과 KV 캐시 압축 기법을 고려할 것

섹션별 상세

작성자는 25.6M 파라미터 규모의 GPT 스타일 디코더를 RTX 4060 Ti 8GB 환경에서 학습시켰다. 바이트 수준 토큰화를 적용하여 어휘 사전을 256개로 제한하고 8개 레이어와 512 임베딩 차원을 갖는 구조를 설계했다. 30k 스텝 학습 결과 최종 검증 손실 0.8217, 퍼플렉서티 2.15를 달성하며 소비자용 GPU에서도 유의미한 모델 학습이 가능함을 입증했다.

표준 어텐션 대신 로컬 윈도우 어텐션과 GRU 기반 순환 경로를 결합한 HybridAttention 아키텍처를 도입했다. 로컬 경로는 단기 구문을 처리하고 순환 경로는 장기 상태를 압축하여 전달함으로써 연산 복잡도를 낮췄다. 이를 통해 기존 Full Attention 대비 추론 속도를 51.47배 향상시킨 286.6 tok/s를 기록했다.

모델 성능 향상의 핵심 요인으로 데이터셋 확장을 꼽았다. 초기 31MB 분량의 공식 문서와 주요 라이브러리 데이터에서 시작하여 상위 500개 크레이트(Crate)를 추가 수집해 총 173.5M 바이트 규모로 코퍼스를 확장했다. 데이터 양의 증가가 아키텍처 개선보다 모델의 문법 이해도 향상에 더 큰 기여를 했다고 분석했다.

추론 효율화를 위해 VRAM에 64토큰 분량의 핫 윈도우를 유지하고 오래된 토큰은 8비트로 압축하여 페이징하는 KV 캐시 전략을 사용했다. Triton 최적화 커널과 커스텀 연산자를 활용해 메모리 대역폭 문제를 해결하고 O(n^2)의 복잡도를 O(n) 수준으로 완화했다. 결과적으로 품질 저하 없이 실시간 인터랙티브 사용이 가능한 수준의 성능을 확보했다.

언급된 도구

PyTorch추천

모델 구현 및 학습 프레임워크

Triton추천

GPU 커널 최적화

Rust중립

학습 데이터셋 대상 언어 및 시스템 프로그래밍

언급된 리소스

GitHubSisyphus GitHub Repository