Gemma 3 270M 모델을 활용한 T³ v3.5 아키텍처 전이 학습 실험 사전 등록

실용적 조언

모델의 성능 한계를 테스트할 때 이미 충분히 학습된 소형 모델을 베이스라인으로 활용하여 아키텍처의 효율성을 검증하라.
실험의 신뢰도를 높이기 위해 결과 도출 전 가설과 방법론을 공개하는 사전 등록 절차를 고려하라.

섹션별 상세

실험의 핵심은 이미 성능이 포화된 Gemma 3 270M 모델에 새로운 아키텍처를 이식했을 때 추가적인 지능 향상이 발생하는지 확인하는 것이다. Gemma 3 270M은 파라미터 대비 학습량이 친칠라 최적점의 3000배에 달해 일반적인 학습으로는 성능 향상이 어렵기 때문에 아키텍처의 순수 기여도를 측정하기에 적합하다.

작성자는 T³ v3.5라는 '접지된 생태계 트랜스포머(grounded-ecology transformer)' 구조를 사용하며, Ultimate Mix+ 데이터셋으로 50억 토큰을 추가 학습시킨다. 이는 구글이 Gemma 3 학습에 사용한 6조 토큰의 약 1200분의 1 수준으로, 적은 연산량으로도 아키텍처의 우수성을 증명하려는 의도이다.

성공 지표로 학습의 75% 지점 이전에 기존 Gemma의 추론 복합 점수를 추월하는 것을 설정했다. 만약 8개의 추론 벤치마크가 검증 퍼플렉서티와 단순히 동기화되어 움직이거나, 50% 학습 시점까지 시그마 차별화 변곡점이 나타나지 않으면 실험은 실패한 것으로 간주한다.

실험의 객관성을 확보하기 위해 GitHub에 SHA-256 해시값과 함께 프로토콜을 사전 등록했다. T³ 모델의 세부 구현은 비공개이지만, 성공과 실패를 판단하는 기준과 측정 방법론을 투명하게 공개하여 결과의 신뢰성을 높였다.

용어 해설

친칠라 최적점(Chinchilla-optimal): — 모델의 파라미터 수와 학습 데이터 토큰 수 사이의 최적의 비율을 정의하는 법칙이다. Gemma 3 270M 모델은 이 기준보다 약 3000배 더 많은 데이터를 학습한 '과학습' 상태로, 아키텍처 개선의 효과를 검증하기 위한 극한의 대조군으로 활용된다.
사전 등록(Pre-registration): — 실험을 시작하기 전에 가설, 방법론, 성공 및 실패 기준을 공개적으로 기록하는 연구 관행이다. 결과가 나온 뒤에 가설을 맞추는 사후 해석(HARK-ing)을 방지하여 연구의 객관성과 신뢰성을 높이는 데 목적이 있다.
검증 퍼플렉서티(Validation Perplexity): — 언어 모델이 다음 토큰을 얼마나 잘 예측하는지 나타내는 지표로, 값이 낮을수록 모델의 예측 성능이 좋음을 의미한다. 본 토론에서는 아키텍처의 고유한 성능 향상과 단순한 통계적 학습을 구분하는 지표로 사용된다.

언급된 도구

Gemma 3 270M추천

실험의 베이스라인이 되는 과학습된 소형 언어 모델

언급된 리소스

GitHubt3-gemma-transfer GitHub Repository