TL;DR

Solar Open 2는 Upstage가 제시한 250B-A15B 하이브리드-Attention MoE 모델로, 전체 파라미터는 250B이지만 토큰당 활성화되는 파라미터를 15B로 제한해 추론 비용을 낮추는 설계를 택했다. 아키텍처는 Softmax와 Linear 어텐션을 교차 배치하고 NoPE(position encoding 제거)와 일부 레이어의 KV 캐시를 조합해 최대 1M 토큰 문맥을 지원하도록 설계되었으며 MoE 라우팅은 top-8 전문가 활성화를 사용한다. README에 제시된 벤치마크는 MMLU-Pro 86.2, LiveCodeBench 92.4, SWE-Bench 70.4 등으로 에이전트·장문 추론 성능에서 경쟁력을 보였고 vLLM 기반 서빙과 도커 예제가 제공되어 실무 배포 경로가 명시되어 있다. 훈련은 Solar Open 1에서 선택적 가중치 이전(약 2.3%)과 약 12조 토큰, NVIDIA B200 기반 2M GPU 시간으로 진행되었으며 라이선스는 Upstage Solar License로 표기되어 있다.

핵심 역량

• 장문 컨텍스트(최대 1M 토큰)를 유지하면서 단계적 추론을 수행하는 능력이 있으며 reasoning_effort 설정으로 추론 블록 길이를 제어할 수 있다.
• 도구 호출을 OpenAI 함수 호출 규격과 호환되는 형식으로 수행하며 vLLM 서버 설정에서 자동 도구 선택과 툴 호출 파서를 지원한다.
• Agent 실행 환경에서 multi-step 작업과 도구 오케스트레이션을 지원하며 Anthropic 호환 인터페이스(Claude Code)와 OpenAI 호환 인터페이스(Hermes Agent)를 동일 서버에서 노출할 수 있다.

강점

• 토큰당 활성화 파라미터를 15B로 제한하는 MoE 설계로 대형 파라미터 용량을 유지하면서 추론 비용을 낮추는 균형을 취했다.
• NoPE와 선형 어텐션을 결합해 RoPE 외삽 한계를 회피하며 1M 토큰 문맥을 지원하므로 문서 집중 작업에서 유리한 메모리 특성을 가진다.
• vLLM과의 생태계 통합 및 OpenAI/Anthropic 호환 인터페이스 제공으로 에이전트·도구 연동 실무 적용이 비교적 수월하도록 구성되어 있다.

훈련 방식

기반 모델 일부 가중치(약 2.3%)를 Solar Open 1에서 선택적으로 이관하고 나머지는 무작위 초기화한 후 약 12조 토큰으로 사전학습을 진행했으며 학습은 주로 NVIDIA B200 기반 인프라에서 총 2M GPU 시간으로 수행되었다. 이 초기화 방식은 아키텍처 변화에도 불구하고 일부 정보만 계승해 훈련 초기 수렴을 빠르게 만드는 목적이었다. MoE 구조와 하이브리드 어텐션 설계는 대규모 파라미터와 토큰당 낮은 활성화 파라미터를 동시에 달성하기 위한 학습·설계 선택이었다.

알아두면 좋은 것

• 하이브리드 어텐션 스택은 Softmax 계층과 선형 어텐션을 교차 배치하여 긴 문맥에서의 효율성과 대형 모델의 용량을 균형시킨다.
• 250B 전체 파라미터 중 토큰당 활성화되는 파라미터는 15B로 설계되어 MoE의 이점을 통해 추론 비용을 줄이는 것이 목표이다.
• NoPE 설계로 RoPE positional encoding을 제거하고 선형 어텐션의 재귀 상태로 순서 정보를 보존하여 1M 토큰 문맥을 지원한다.
• 선행 가중치 일부(약 2.3%)를 Solar Open 1에서 선택적으로 이전해 초기 수렴을 가속화하고, NVIDIA B200에서 총 2M GPU 시간으로 훈련을 진행했다.

기술적 특징

• 하이브리드 어텐션 패턴은 Softmax와 Linear 어텐션을 교차 배치하는 구조로 설계되어 있으며 구체적으로 `[Softmax, Linear×3] × 12` 패턴을 사용한다. 이 설계는 일부 계층에서만 정교한 softmax 어텐션을 유지하고 다수 계층에서는 선형 어텐션을 사용해 긴 문맥에서 계산 비용을 줄이는 효과를 낸다. 결과적으로 장문 처리와 대형 모델의 표상력을 동시에 확보하려는 설계적 타협을 반영한다.
• MoE 아키텍처는 전체 321개의 전문가를 두고 토큰당 상위 8개의 라우팅 전문가와 1개의 공유 전문가를 활성화하도록 구성되어 있다. 이로 인해 모델 전체 파라미터는 250B 수준이지만 실제 토큰 처리 시 활성화되는 파라미터는 15B로 제한되어 추론 메모리와 연산을 줄인다. 전문가 병렬 처리를 위해 triton 기반의 moe-backend가 권장되는 등 추론 런타임 최적화와 연계된 설계가 병행되었다.
• NoPE(position encoding 없음) 설계는 Rotary Position Embedding을 제거하고 선형 어텐션의 재귀 상태로 토큰 순서를 보존하는 방식을 채택하여 RoPE의 외삽 한계를 피한다. 이 접근은 일부 레이어만 KV 캐시를 유지하는 전략과 결합되어 장문 메모리의 총 비용을 절감하며 1M 토큰에 이르는 컨텍스트를 현실적으로 다룰 수 있게 한다. 따라서 긴 문서나 로그를 입력으로 하는 에이전트 작업에서 유리한 특성이 나타난다.
• 효율적 초기화는 Solar Open 1에서 선택적으로 약 2.3%의 가중치만 이관하고 나머지는 무작위 초기화하는 방식으로 구현되었다. 이 방법은 아키텍처가 변화한 상황에서도 일부 유용한 가중치를 재사용해 초기 학습 안정성과 수렴 속도를 개선하는 목적을 가졌다. 대규모(250B) 훈련에서 초기화 전략이 학습 비용과 수렴 거동에 직접적인 영향을 주는 설계적 선택이 되었다.

차별점

• Softmax 계층과 선형 어텐션을 교차 배치하는 하이브리드 어텐션 패턴을 적용해 긴 문맥에서 효율과 용량을 동시 확보한 아키텍처 설계.
• MoE 구조에서 전체 250B 파라미터 중 토큰당 15B만 활성화되도록 설계해 대형 모델의 표현력과 낮은 추론 비용을 병행한 점.
• NoPE를 통해 RoPE positional encoding을 제거하고 선형 어텐션 재귀 상태로 토큰 순서를 보존하여 1M 토큰 문맥을 목표로 한 점.
• Solar Open 1에서 극히 일부 가중치만 선택적으로 이전해 초기 수렴을 가속화한 효율적 초기화 전략과 vLLM/도커 기반의 구체적 서빙 권장 구성이 결합된 점.

벤치마크

이미지 분석