LGAI-EXAONE/K-EXAONE-2.0-750B-A37B
멀티링구얼 텍스트 생성 및 에이전틱 워크플로(장문맥 검색·도구 호출)750B (전체), 활성 파라미터 37B256K 컨텍스트apache-2.0
LG AI Research가 공개한 750B 규모 MoE 언어모델로 활성 파라미터 37B와 262,144 토큰 컨텍스트로 에이전틱 작업에 특화됐다.
학습 방식 · 기존 K-EXAONE을 업사이클링한 뒤 연속 사전학습과 난이도 중심 중간 학습(mid-training), 후처리(post-training)를 순차 적용했고, 깊은 레이어 안정화를 위해 SwiGLU 분기 뒤 클램핑을 도입했다.
TL;DR
K-EXAONE 2.0은 LG AI Research가 기존 K-EXAONE을 업사이클링해 3배 이상 확장한 750B 규모의 멀티링구얼 MoE 언어모델로, 요청당 37B의 활성 파라미터만 사용해 추론 자원을 절약하면서도 262,144 토큰의 장문맥을 지원한다. 깊은 레이어의 활성화 폭주를 막는 SwiGLU 클램핑과 난이도 중심의 중간 학습을 거쳐 에이전틱 코딩과 장문맥 검색 능력을 강화했으며, OpenAI-MRCR 94.4, KGC-Safety 99.8 같은 벤치마크에서 장문맥·안전성 강점을 보였다. MTP와 DSpark 두 가지 추정적 디코딩으로 생성 속도를 3~5배 끌어올리도록 설계됐고 SGLang·vLLM 포크로 서빙 예제를 제공해, 긴 대화나 문서를 다루는 에이전트 서비스를 대규모로 운영해야 하는 상황에 적합하다.
핵심 포인트
- 총 750B 파라미터 중 요청당 37B만 활성화하는 MoE 구조로 대형 모델 표현력과 서빙 비용을 동시에 관리한다.
- 262,144 토큰 장문맥과 OpenAI-MRCR 94.4점으로 장문 검색·연속 추론에서 강점을 보인다.
- MTP·DSpark 추정적 디코딩으로 생성 속도를 3~5배 높이고 SGLang·vLLM 포크 서빙 예제를 제공한다.
- 한국어 등 10개 언어를 지원하고 KGC-Safety 99.8점의 안전성 결과를 공개했다.
제한사항
- 다른 언어모델과 마찬가지로 개인정보·편향·유해 정보가 담긴 부적절한 응답을 생성할 수 있다.
- 학습 데이터의 통계에 의존하므로 의미적·구문적으로 부정확한 문장이나 사실과 다른 답변이 나올 수 있다.
- 최신 정보를 반영하지 않아(지식 컷오프 2025년 2분기) 답변이 시점상 틀리거나 모순될 수 있다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| OpenAI-MRCR | score | 94.4 | — |
| Ko-LongBench | score | 89.6 | — |
| KGC-Safety | score | 99.8 | — |
| AIME 2026 | score | 92.3 | — |
| SWE Bench Verified | score | 68.2 | — |
이미지 분석
135
LIKES
458
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
