Kimi K3: 2.8T 파라미터 MoE 모델과 100만 토큰 컨텍스트를 갖춘 대형 멀티모달 모델

Kimi K3는 모델 크기를 극단적으로 키우면서도 실제 토큰 처리 비용을 제한하는 방향으로 설계되어 대규모 컨텍스트와 복합적 추론을 동시에 목표로 삼는 점에서 의미가 있다. 백만 토큰 컨텍스트와 MoE 기반의 활성화 파라미터 설계는 긴 대화와 에이전트 롱호라이즌 실행 같은 실무적 요구를 직접적으로 충족한다. 또한 모델 가중치 공개는 대형 MoE 연구와 실전 적용을 가속화할 수 있는 기반을 제공한다.

출발점은 대규모 모델이 가진 두 가지 상충 문제이다. 하나는 전체 파라미터를 크게 늘리면 표현력은 커지지만 실제 토큰별 연산량과 메모리 사용이 급증해 비용이 비현실적으로 증가한다는 점이다. 다른 하나는 깊은 네트워크와 긴 시퀀스에서 유의미한 정보가 층과 시퀀스를 가로질러 안정적으로 유지되기 어렵다는 점이다. 이 논문은 Kimi Delta Attention과 Attention Residuals를 도입해 이 두 문제를 동시에 완화하는 방식을 택했다. Kimi Delta Attention은 attention 계산을 조정해 시퀀스 길이에 따라 핵심 신호의 이동을 보조하고 Attention Residuals는 층 간 정보를 직접 전달해 깊이가 깊어져도 중요한 표현이 사라지지 않도록 했다. 이러한 구성은 긴 컨텍스트 환경에서 토큰 간 의존성을 더 안정적으로 유지하게 한다. 또한 확장성 측면에서는 Stable LatentMoE를 통해 활성화 파라미터를 제어했다. 구체적으로 라우팅 후보 집합을 크게 유지하면서도 토큰당 16개의 전문가만 활성화해 연산과 메모리 비용을 낮추었다. 이 조합은 모델의 전체 용량을 2.8T 수준으로 유지하면서도 Kimi K2 대비 약 2.5배의 확장 효율 개선을 가능하게 했다.

전체 접근 방식은 아키텍처 설계, 라우팅 기법, 학습·데이터 레시피, 그리고 시스템 수준 최적화를 결합하는 것이다. 아키텍처 측면에서 Kimi Delta Attention과 Attention Residuals가 정보 흐름을 보강하며 Stable LatentMoE가 토큰별 활성화 전문가 수를 제한한다. 학습 파이프라인과 데이터 레시피는 이러한 아키텍처 특성에 맞춰 조정되어 확장 시 학습 안정성을 확보하도록 구성되었다. 핵심 메커니즘은 라우터가 각 토큰에 대해 896개의 후보 전문가 중에서 소수(논문은 16개)를 선택하고 선택된 전문가들만 연산을 수행하도록 하는 것이다. 이 방식은 토큰별 연산량을 크게 줄이는 반면 전체 모델의 파라미터 용량은 크게 유지한다. 시스템 구현에서는 KDA 알고리즘과 메모리 관리, 완벽히 균형 잡힌 전문가 병렬화(perfectly balanced expert-parallel training)를 통해 메모리와 통신 병목을 최소화하도록 설계되었다. 훈련 후 단계에서는 에이전트적 행동과 코드 능력 등 다양한 도메인에서 RL 기반의 후훈련을 수행해 복합적 추론·실행 능력을 강화했다. 논문은 백만 토큰 컨텍스트를 활용한 에이전트 롤아웃과 지속적 상태 저장(persistent rollout and sandbox states)을 포함하는 인프라를 제시했다. 배포 측면에서는 대형 MoE를 실제 활용 가능한 형태로 운영하기 위한 배치·메모리 전략과 서빙 최적화가 병행되었다.

광범위한 평가에서 Kimi K3는 장시간 코드 작성, 에이전트적 행동, 지식·추론·비전 과제에서 전선급(frontier-level) 성능을 보였다고 보고되었다. 논문은 Kimi K3가 평가한 오픈 및 일부 폐쇄 모델들에 비해 일관되게 우위에 있었다고 명시했으나 최고 성능의 폐쇄 모델인 Claude Fable 5와 GPT-5.6 Sol보다는 낮은 성능을 기록했다. 이러한 결과는 확장 효율 개선과 긴 컨텍스트 처리 능력이 실제 과제 성능으로 이어졌음을 시사한다. 추가적으로 Ablation이나 효율성 관련 분석에서는 Stable LatentMoE의 소수 전문가 활성화와 KDA 기반의 정보 흐름 개선이 성능·효율의 주요 원인으로 지목되었다. 논문은 Kimi K2 대비 약 2.5배의 전체 확장 효율 개선 수치를 제시하며 아키텍처·학습·시스템 최적화의 조합 효과를 수치적으로 언급했다. 다만 구체적 벤치마크별 점수 표는 초록에 모두 기재되어 있지 않으므로 세부 수치는 본문 확인이 필요하다.

전체 아키텍처는 2.8T 전체 파라미터와 104B 활성화 파라미터 구성을 중심으로 MoE 패러다임을 채택했다. 모델 내에서는 Kimi Delta Attention과 Attention Residuals가 병행되어 층과 시퀀스에 걸친 정보 전달을 강화하고, Stable LatentMoE가 토큰당 활성화 전문가 수를 제한해 연산량과 메모리를 제어한다. 이 조합은 전체 파라미터는 대규모로 유지하면서 토큰별 연산 부하를 낮추는 설계 철학을 따른다. Stable LatentMoE의 동작은 라우터가 각 토큰에 대해 896개의 후보 전문가 집합을 고려하고 그 중 16개만을 활성화해 해당 전문가들만 연산을 수행하도록 하는 것이다. 입력 토큰은 라우터에 의해 분배되고 선택된 전문가들의 출력이 혼합되어 최종 토큰 표현을 생성하는 흐름을 따른다. 이 과정은 활성화된 전문가 수를 고정함으로써 토큰당 연산량을 예측 가능하게 만들고 학습·추론 시 자원 사용을 통제한다. 시스템 측면에서는 KDA 알고리즘과 완벽히 균형 잡힌 전문가 병렬화, 효율적 메모리 관리가 결합되어 대규모 MoE의 통신·메모리 병목을 줄였다. 백만 토큰 컨텍스트 지원을 위해서는 컨텍스트 상태 유지와 롤아웃 저장을 위한 인프라적 최적화가 필요했으며 논문은 이를 위한 알고리즘-시스템 공동설계를 강조했다. 학습 파이프라인과 데이터 레시피는 이러한 구조적 특징에 맞춰 조정되어 확장 과정에서 안정성과 성능을 유지하도록 설계되었다.

논문은 Kimi K3가 다수의 오픈 및 평가 대상 모델을 넘어선 성능을 보였으나 최고 성능을 기록한 폐쇄형 모델들인 Claude Fable 5와 GPT-5.6 Sol보다는 전반적 성능에서 뒤처진다고 명시했다. 이 사실은 Kimi K3가 확장 효율과 긴 컨텍스트 처리에서 강점을 보이지만 최고 최종 성능을 달성하는 데에는 아직 격차가 존재함을 의미한다. 또한 초록만으로는 벤치마크별 상세 점수와 일부 구현 세부사항이 제시되어 있지 않아 본문 검토가 필요하다.