Gemma 4 기반 지휘자 모델 검증

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Sakana AI는 Sakana Fugu의 지휘자 모델을 Gemma 4 E2B를 베이스로 동일한 훈련법으로 학습시켜 내부 평가에서 기존 지휘자 모델과 동등한 오케스트레이션 정확도와 유사한 비용 절감 효과를 확인했다. 지휘자 모델은 라우팅과 모델 간 협업 결정을 담당하므로 소형 모델로도 운영할 수 있으며, 모델 풀은 성능·비용·제공자 위치 기준으로 유연하게 구성 가능하다. 회사는 지휘자 모델과 모델 풀의 모듈화를 통해 소브린성 요구에 맞춘 국산 베이스 전환 옵션을 제공할 계획이다.

섹션별 상세

Sakana Fugu는 요청을 한 번 받아 내부에서 처리 경로를 결정하는 이중 계층 구조를 채택하고 있으며, 상위에는 지휘자 모델이 있고 하위에는 선택 가능한 모델 풀을 둔다. 입력을 받은 지휘자 모델은 처리 방식과 어떤 서브모델을 호출할지 판단하고, 모델 풀은 실제 지식 조회와 추론을 수행한 결과를 반환해 최종 응답으로 통합한다. 이런 분리 설계는 지휘자와 풀을 독립적으로 교체·재검증할 수 있게 해 운영상 소브린성·비용·성능 요구를 각각 맞출 수 있게 한다.

지휘자 모델의 핵심 요구는 모든 지식을 보유하는 것이 아니라 어떤 모델에 어떤 작업을 위임할지 판단하는 능력이며, 따라서 상대적으로 소형 모델로도 역할을 수행할 수 있다. 입력을 분해하고 라우팅 지침을 생성한 뒤, 반환된 서브모델 출력들을 정합성 있게 통합하는 프로세스가 지휘자 모델의 처리 흐름이다. 모델 자체를 경량화하면 반복적인 훈련과 베이스 모델의 교체 실험을 비용 효율적으로 수행할 수 있다는 실무적 이점이 있다.

Sakana AI는 Gemma 4 E2B를 베이스로 동일한 훈련방법을 적용해 지휘자 모델을 훈련했고, 내부 평가용 설문 세트(지식 문제·코드 생성·코드 수정·대학원 수준 과학 문제)로 테스트해 기존 지휘자 모델과 동등한 오케스트레이션 정확도와 유사한 비용 절감 효과를 관찰했다. 테스트는 훈련 과정이나 후보 선정에 사용하지 않은 별도의 테스트셋으로 수행되었고, 비교 대상에는 훈련을 하지 않은 무작위 라우팅(initial random routing)이 포함되었다. 결과 도표는 지휘자 모델의 정답률과 상대 비용(무작위 분배를 1로 한 상대값)을 제시해 Gemma 4 계열로도 실용적 성능·비용 조합을 얻을 수 있음을 보여준다.

근거

Gemma 4 E2B를 베이스로 훈련한 지휘자 모델이 기존 지휘자 모델과 동등한 오케스트레이션 성능과 유사한 비용 절감 효과를 보였다. — 본문의 '検証' 섹션과 도표(지휘자 모델의 정답률 및 상대 비용)를 확인하십시오. 내부 평가용 테스트셋과 무작위 라우팅 비교가 사용되었습니다.

제품 설계 상 모델 풀은 초기에는 최고 성능 기반으로 구성되지만 필요에 따라 비용 우선, 제공자 위치 제한, 실행환경 제한 같은 기준으로 재구성할 수 있도록 해 두었다. 이 정책 선택지는 구성자가 설정 가능한 옵션으로 제공되며, NVIDIA와의 협력으로 Nemotron 같은 추가 모델을 풀에 포함시키는 노력도 시작되었다. 향후에는 지휘자 모델 자체도 국산 베이스로 전환해 소브린성 요구를 충족시키는 옵션까지 제공할 계획을 밝히며 해외 성능 접근성과 규제 대응을 병행하려는 로드맵을 제시하고 있다.

근거

모델 풀은 용도에 따라 구성 기준을 바꿀 수 있으며, NVIDIA 제휴를 통해 Nemotron을 풀에 포함시키는 작업을 시작했다. — 본문 중 모델 풀 구성 관련 문단과 NVIDIA 제휴 링크(/nvidia-open-model-innovation/)를 확인하십시오.

용어 해설

Sakana Fugu: — Sakana Fugu는 단일 엔드포인트로 들어온 요청을 자체 지휘자 모델이 해석해 내부 모델풀의 여러 모델을 동적으로 호출하고 그 결과를 하나의 응답으로 합치는 마ルチエージェント 오케스트레이션 제품이다. 설계는 경량 지휘자 모델과 성능 중심의 모델풀로 구분되어 있어 지휘자 쪽은 라우팅과 협업 판단을, 풀 쪽은 실제 지식·추론 작업을 담당하도록 되어 있다. 이 구조는 베이스 모델 교체와 구성 변경이 용이하도록 설계되어 특정 규제나 소브린성 요구에 맞춘 구성이 가능하도록 한다.
지휘자 모델(指揮者モデル（Conductor）): — 지휘자 모델은 모델풀 내 개별 모델들이 어떻게 협력할지에 대한 결정을 담당하는 소규모 언어모델로, 자체적으로 모든 지식을 담기보다 어느 모델에 어떤 작업을 위임할지 판단하는 역할을 수행한다. 입력을 받아서 적절한 서브모델을 선택하고 요청을 분배하고, 반환된 결과를 통합하는 처리 흐름을 제어하는 것이 핵심이다. 이 역할을 경량화하면 반복 학습과 베이스 모델 교체 검증을 현실적인 비용으로 수행할 수 있다.
모델 풀(モデルプール（Model pool）): — 모델 풀은 실제 추론·지식·추론 작업을 실행하는 여러 모델의 집합으로, 수백B급 프론티어 모델도 포함될 수 있다. 설계상 어떤 모델을 포함할지, 어떤 기준으로 교체할지를 구성자가 선택할 수 있게 되어 있어 비용·실행환경·제공자 위치 등 운영 정책에 따라 유연하게 바꿀 수 있다. Sakana Fugu에서는 풀을 기준으로 성능 우선 구성과 소브린성 우선 구성 사이를 전환할 수 있게 해 두었다.
Gemma 4(Gemma 4 / Gemma 4 E2B): — Gemma 4는 Apache 2.0 라이선스의 오픈 모델 계열로, Sakana AI는 그중 Gemma 4 E2B를 지휘자 모델의 베이스로 사용해 동일한 훈련 절차로 지휘자 역할을 학습시켰다. 목적은 다른 계열의 오픈 모델에서도 기존 훈련법이 통하는지 검증하는 것이며, 이를 위해 회사 내부의 평가용 설문 세트를 테스트 전용으로 사용했다. 테스트 결과는 기존 지휘자 모델과 동등한 오케스트레이션 성능과 유사한 비용절감 효과가 관찰되었다고 보고되었다.
소브린성(Sovereignty（ソブリン性）): — 소브린성은 데이터·모델 제공자 위치나 실행 환경 같은 규제·정책 요구를 의미하며, 기업이나 정부가 특정 국가 내에서 모델을 운영하거나 데이터 유통을 제한해야 할 때 요구되는 성질이다. Sakana AI는 모델풀뿐 아니라 지휘자 모델의 베이스도 교체 가능하게 하여 국내에서 학습된 국산 모델로 대체하는 등 소브린성 요건을 충족시키려는 설계를 제시하고 있다. 이로써 해외 최고 성능에 접근하면서도 요구되는 규제 준수를 병행할 수 있는 선택지를 제공하려 한다.

기술

Gemma 4
Gemma 4 E2B
Qwen
Nemotron
Trinity
Conductor

활용 사례

국내 규제·소브린성 요건을 충족해야 하는 기업용 오케스트레이션
비용 제약 환경에서 성능과 비용 균형을 맞추는 모델 구성
다양한 베이스 모델을 실험하며 운영 중 교체 검증을 수행하는 연구·제품 개발

언급된 리소스

문서Trinity (ICLR 2026 preprint)

문서Conductor (ICLR 2026 preprint)

문서Sakana Fugu 릴리스 페이지

문서NVIDIA 제휴 관련 게시물

문서채용 안내