Solar Open 2 공개: 에이전트용 250B MoE 기반 오픈 웨이트 모델

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Solar Open 2는 Upstage가 에이전트용 실무 작업을 목표로 개발한 250B 규모의 MoE 기반 모델로 토큰당 약 15B만 활성화해 추론 효율을 확보하고 최대 1M 토큰의 장문 컨텍스트를 처리하도록 설계되었다. 에이전트 시나리오를 반영한 합성·검증 파이프라인을 통해 도구 호출의 실행·검증 루프, 코드 테스트와 수정 루프, 사무 업무의 문서·스프레드시트 처리 등을 학습했으며 한국어 토크나이저는 동일 텍스트를 표현할 때 토큰 수를 크게 절감했다. Selective Weight Transfer를 통해 기존 모델의 일부 가중치를 초기화에 재사용함으로써 훈련 토큰을 약 58% 수준으로 줄였고 공식 벤치마크에서는 MMLU-Pro 86.2, LiveCodeBench 92.4 등 경쟁력 있는 성적을 보였다. 모델 가중치는 Hugging Face에 공개되어 상업적 사용과 파생 개발이 허용되며 vLLM과 Transformers 예시로 자체 인프라에 배포해 검증할 수 있다.

빠른 이해

새로운 점

에이전트 중심 데이터·검증 파이프라인과 250B MoE에서 토큰당 15B 활성화, 1M 토큰 컨텍스트를 결합해 오픈 웨이트로 배포한 점이 차별화 신호이다.

핵심 메커니즘

입력으로는 장문 컨텍스트와 에이전트 작업 지시가 들어오고, 처리 단계에서는 Hybrid Attention으로 1M 토큰을 관리하며 MoE의 전문가 라우팅으로 토큰당 필요한 8개 전문가를 활성화해 계산을 줄인 뒤 출력으로 연속된 도구 호출과 작업 완료 결과를 반환한다.

핵심 수치

MMLU-Pro: 86.2- 지식 기반 평가 점수
LiveCodeBench: 92.4- 코딩 성능 평가 점수
한국어 벤치마크 평균: 85.4- 비교 대상 모델 대비 우세
Ko-GDPval: 86.8- 170개 실무 시나리오 기반 실무 수행 평가
Active parameters per token: 15B / 250B- 토큰당 활성화되는 파라미터와 전체 파라미터
훈련 효율(토큰): 12B vs 22B- Selective Weight Transfer 적용 모델 vs 무작위 초기화 모델의 목표 손실 도달 토큰수 비교

섹션별 상세

요약 및 배포

Solar Open 2는 Upstage가 공개한 오픈 웨이트 기반의 대형 언어 모델로 에이전트용 작업을 목표로 설계되었다. 모델은 에이전트 시나리오(도구 호출, 코드 작업, 사무 업무 등)에 초점을 맞춘 데이터와 평가로 개발되었으며, 모델 가중치는 Hugging Face에 공개되어 상업적 용도와 파생 개발이 허용되는 라이선스로 배포되었다. 공식 문서와 Technical Report는 아키텍처, 훈련 절차, 주요 실험 및 평가 조건을 포함해 재현 가능성을 확보했다.

아키텍처와 추론 효율성

모델은 총 250B 파라미터 규모의 MoE 구조를 채택해 토큰당 약 15B 파라미터만 활성화하도록 설계되어 있다. FFN 계층은 320개의 routed expert와 1개의 shared expert로 구성되며 토큰당 8개의 전문가가 선택되어 활성화되므로 dense 모델처럼 모든 파라미터를 매번 사용하지 않아 계산 비용이 크게 줄어든다. 이 구조 덕분에 BF16 설정에서는 네 대의 NVIDIA H200으로, 양자화된 모델은 두 대의 H200으로 운영 가능하다고 명시되어 있어 기업 내부 인프라로 배포하기 현실적인 수준의 요구사항을 제시했다.

근거

모델은 MoE 아키텍처로 총 250B 파라미터 중 토큰당 15B만 활성화하도록 설계되었다. — Key highlights / Inference efficiency for repeated calls 섹션

장문 컨텍스트를 위한 Hybrid Attention

Solar Open 2는 최대 1M 토큰의 컨텍스트를 처리하도록 설계되었으며 이를 위해 GQA(softmax)와 선형 어텐션을 조합한 Hybrid Attention을 사용한다. 모델은 48개 층 구성에서 1개의 GQA 계층과 3개의 선형 어텐션 계층을 반복하는 블록을 적용했고 전체 층의 약 75%에 선형 어텐션을 적용해 KV-cache가 입력 길이에 따라 선형으로 불어나는 문제를 억제했다. 추가로 softmax 계층에서는 NoPE를 선택해 훈련에서 주로 보지 못한 매우 긴 입력에 대한 외삽성(extrapolation)을 개선하려는 설계적 의도를 반영했다.

근거

모델은 최대 1M 토큰 컨텍스트를 지원하기 위해 GQA와 선형 어텐션을 결합한 Hybrid Attention을 사용했다. — A 1M-token context for long tasks 섹션

에이전트 중심의 훈련 데이터와 검증 파이프라인

모델은 단순한 질의응답 데이터 대신 에이전트 환경을 재현한 데이터로 학습되어야 한다는 목표로 설계되었고, 이를 위해 검색, 도구 호출(MCP), 코드 실행 및 사무 업무 시나리오를 포함한 데이터 합성 및 검증 파이프라인을 운영했다. 합성 과정은 실제 작업 환경에서 출발한 소스 데이터를 기반으로 정답을 명확히 판단할 수 있는 설정을 만들고 다단계 검증을 통해 오직 검증을 통과한 사례만 훈련에 포함시키는 방식으로 데이터 품질을 보장했다. 특히 도구 호출의 경우 모델이 환경에서 실제 변경을 실행하고 변경된 상태를 읽어 결과를 검증하는 루프를 포함해 '그럴듯한 응답'이 아니라 '완전히 실행된 작업'을 학습하도록 구성되었다.

Selective Weight Transfer와 훈련 효율

새 아키텍처 초기화에 이전 모델(Solar Open 100B)의 일부 가중치만 선별해 재사용하는 Selective Weight Transfer 방식을 도입해 학습 효율을 높였다. 대조 실험에서 동일한 아키텍처·데이터·옵티마이저 조건에서 전이 가중치를 사용한 모델은 약 12B 토큰만으로 목표 손실에 도달한 반면 무작위 초기화 모델은 약 22B 토큰을 필요로 해 전이 모델이 약 58%의 토큰으로 동일 수준에 도달했다. 이 결과는 서로 다른 아키텍처 간에도 핵심 표현을 재사용하면 훈련 토큰과 시간, 비용을 절감할 수 있음을 시사한다.

근거

Selective Weight Transfer를 적용한 경우 목표 손실에 도달하는 데 약 12B 토큰이 필요했으며 무작위 초기화 모델은 약 22B 토큰을 필요로 했다. — Selective Weight Transfer for efficient training 섹션

벤치마크 성능과 실무 품질

공식 결과에서 Solar Open 2는 MMLU-Pro 86.2, LiveCodeBench 92.4, 한국어 평균 85.4 등 주요 벤치마크에서 비교 대상 모델들을 상회하거나 경합 수준의 성적을 기록했다. Ko-GDPval(170개 실무 시나리오 기반)에서는 86.8을 기록해 파라미터 수가 6배 이상인 1.6T 모델과 거의 동등한 성능을 보였고, 에이전트 서비스에서 실제 반복 호출이 누적되는 환경을 고려할 때 토큰당 활성 파라미터가 적은 구조는 운영 비용 측면에서 유의미한 이점을 제공한다. 또한 IFBench 80, MCP-Atlas 58.2, APEX-Agents 16.6 등 에이전트 신뢰성과 관련한 평가에서도 상위권 성적을 기록해 도구 호출 및 지시 수행 능력 측면에서 실무적 유효성이 확보되었다는 근거를 제공했다.

근거

주요 벤치마크 성적은 MMLU-Pro 86.2, LiveCodeBench 92.4, 한국어 평균 85.4 등이다. — Benchmarks 섹션 및 표의 점수 목록

배포·라이선스·운영 가이드

모델 가중치는 Hugging Face를 통해 공개되며 Upstage Solar License 하에 상업적 사용과 파생 모델 개발(파인튜닝·증류)이 허용된다. 제공된 자료에는 모델 카드와 Technical Report, vLLM 및 Transformers 예시를 통한 서빙 가이드가 포함되어 있어 자체 인프라에 배포해 성능을 재현하고 내부 데이터로 평가할 수 있도록 되어 있다. 최소 권장 설정으로는 BF16에서 네 대의 NVIDIA H200을 권장하며, 양자화 시 두 대의 H200으로 운영 가능하다고 명시해 기업 배포 가능성을 구체적으로 제시했다.

근거

모델 가중치는 Hugging Face에 공개되며 Upstage Solar License 아래 상업적 이용과 파생 개발이 허용된다. — So anyone can verify it and build on it / Get started 섹션

용어 해설

Mixture of Experts(MoE): — MoE는 다수의 전문가(encoder/FFN 블록)를 준비해 입력마다 일부 전문가만 활성화하여 연산량을 줄이는 구조로, 이 모델에서는 총 250B 파라미터 중 토큰당 약 15B만 활성화함으로써 대형 모델의 표현력을 유지하면서 추론 비용을 낮춘 점이 중요하다.
하이브리드 어텐션(Hybrid Attention): — Hybrid Attention은 일부 계층에서 GQA(softmax) attention을 사용하고 다른 계층에서 선형 attention을 적용하여 긴 입력을 처리할 때 KV 캐시의 선형 성장을 억제하면서도 전체적 문맥 이해 능력을 유지하는 방식으로, Solar Open 2는 48개 층에서 1 GQA층과 3개 선형층 블록을 반복했다.
선형 어텐션(Linear Attention): — Linear Attention은 입력 길이에 따라 메모리와 계산이 증가하지 않도록 고정 크기 상태로 시퀀스 정보를 요약해 다음 연산에 전달하는 방식으로, Solar Open 2에서는 전체 층의 75%에서 선형 어텐션을 적용해 1M 토큰 컨텍스트를 현실적으로 처리했다.
No Positional Encoding(NoPE): — NoPE는 softmax attention 계층에서 positional encoding을 적용하지 않는 설계 선택으로, 훈련에서 주로 보지 못한 매우 긴 입력을 처리할 때 위치 기반 일반화(extrapolation)를 개선하는 목적을 가진 기법이다.
선택적 가중치 전이(Selective Weight Transfer): — Selective Weight Transfer는 이전 모델(Solar Open 100B)의 일부 가중치만을 선별해 새 아키텍처 초기화에 활용하는 방법으로, 무작위 초기화보다 훈련 토큰 수를 크게 줄여 동일 손실 수준에 더 빠르게 도달하게 만든 점이 핵심이다.
토크나이저 효율성(Tokenizer Efficiency): — 토크나이저 효율성은 동일 텍스트를 표현할 때 생성되는 토큰 수의 정도를 뜻하며, 한국어에서 토큰 수를 절감하면 추론 비용과 실효적 컨텍스트 길이를 모두 늘릴 수 있으므로 Solar Open 2의 한국어 최적화 토크나이저는 운영 비용에 직접적인 영향을 미친다.

기술

vLLM
Transformers

언급된 리소스

문서원문 링크