챕터별 상세
Laguna M.1/XS.2 보고서 개요
Poolside이 공개한 Laguna M.1과 XS.2 모델은 에이전트 작업에 최적화된 MoE 기반 파운데이션 모델이다. M.1은 225B 파라미터, XS.2는 33B 파라미터 규모로 구성되었다. 두 모델 모두 처음부터 끝까지 동일한 내부 시스템인 'Model Factory'를 통해 학습되었다. 이 보고서는 학습 인프라, 데이터 처리, 아키텍처 설계, 양자화 등 모델 개발의 전 과정을 상세히 다룬다.
Model Factory 접근법
Model Factory는 모델 학습의 모든 단계를 코드로 정의하고 자동화하는 시스템이다. 데이터 혼합, 평가, 스케일링 법칙, 학습 데이터 양, 레이어 수 등 모든 설정이 코드로 관리된다. 이 방식은 연구자가 고수준의 의사결정에 집중하게 하며, 실험의 재현성을 보장한다. 모든 실험은 DagsHub를 통해 제어되며, 각 실험은 고유한 ID를 가진다.
아키텍처 및 학습 전략
Laguna 모델은 Pre-norm Transformer 아키텍처와 RMSNorm을 채택했다. MoE 구조에서 토큰 선택 라우팅(Token-choice routing)을 사용하며, 1개의 공유 전문가와 8개의 활성 전문가를 배치한다. 효율성을 위해 슬라이딩 윈도우 어텐션(Sliding Window Attention)과 글로벌 어텐션을 3:1 비율로 혼합했다. 첫 번째 레이어는 Dense로 구성하여 학습 안정성을 확보했다.
데이터 파이프라인 및 정제
데이터셋은 웹 스크랩, 교육 데이터, 합성 데이터 등으로 구성되며 30조 토큰 이상을 사용했다. 노이즈 제거 대신 데이터 라벨링과 랭킹을 통해 데이터 품질을 제어한다. 유용한 데이터와 유해한 데이터를 구분하는 5단계 앵커 시스템을 도입했다. 이 방식은 기존 필터링 기법보다 고품질 데이터를 더 많이 확보하면서도 노이즈를 효과적으로 제거한다.
합성 데이터 생성
합성 데이터는 모델 학습의 중요한 비중을 차지하며, 데이터 파이프라인의 핵심 구성요소이다. 모델은 높은 충실도(Faithfulness)와 다양성을 유지하며 데이터를 생성한다. 오토믹서(Automixer)를 활용하여 다양한 프록시 모델을 학습시키고, 데이터셋 구성을 최적화한다. 이 과정은 모두 프로그래밍 방식으로 자동화되어 있다.
포스트 트레이닝 및 평가
포스트 트레이닝은 Mid-training, SFT, RL의 3단계로 진행된다. Mid-training은 베이스 모델에 특정 도메인 지식을 주입하며, SFT는 에이전트 작업에 최적화된 데이터를 사용한다. RL 단계에서는 바이너리 보상 신호를 사용하여 학습한다. 평가 단계에서는 자체 하네스를 사용하여 벤치마크를 수행하며, 리워드 해킹 문제를 해결하기 위해 지속적인 업데이트를 진행한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 29.수집 2026. 05. 29.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
