TL;DR

Kimi K3는 Moonshot AI가 공개한 2.8T 파라미터급의 네이티브 멀티모달 에이전트로서 Kimi Delta Attention과 Attention Residuals를 중심에 둔 아키텍처와 LatentMoE를 결합해 총 896개의 전문가 중 토큰당 16개를 활성화하며 활성화 파라미터를 약 104B 수준으로 유지한다. 모델은 MoonViT-V2 비전 인코더를 통합하고 1,048,576 토큰의 네이티브 컨텍스트 창을 제공하며 SFT 단계부터 MXFP4/MXFP8 양자화 인식 훈련을 적용해 배포 효율을 확보한다. 광범위한 벤치마크 표에서 GPQA Diamond 93.5, BrowseComp 91.2, MCPMark-Verified 94.5 등 상위권 지표를 보이지만 모든 결과는 reasoning_effort, 하네스, 도구 허용 여부 등 실행 조건에 따라 달라질 수 있으며 일부 실행 변수는 README 주석에 상세히 명시되어 있어 해석 시 유의가 필요하다.

핵심 역량

• 장기 코딩 세션과 대규모 리포지토리 탐색을 수행할 수 있으며 터미널 도구와의 통합을 통해 자동화된 개발 워크플로를 운영할 수 있다. reasoning_effort를 통해 내부 추론 상태를 'max'로 유지하면서 reasoning_content를 반환하고 이후 요청에서 이를 재사용한다. 이로 인해 연속적이고 상태를 보존하는 에이전트 작업 흐름이 가능하다.
• 멀티모달 입력을 통합하여 이미지와 텍스트 기반 질의응답, 문서 처리, 시각적 분석 및 구조화된 출력 생성을 수행할 수 있다. MoonViT-V2 비전 인코더(401M 파라미터)를 통해 이미지로부터 특징을 추출하고 텍스트 응답과 결합한다. 비디오 입력 역시 지원되어 비전-내러티브 통합 작업에 활용할 수 있다.
• 1,048,576 토큰의 네이티브 컨텍스트를 활용해 긴 대화나 연구 보고서, 대시보드 생성 같은 장기 문맥 작업을 유지할 수 있다. README는 300K 토큰을 기준으로 컨텍스트 압축(context-compaction) 전략을 적용한다고 밝히며 긴 세션의 비용 관리를 도모한다. 긴 히스토리를 사용하는 에이전트와 협업 워크플로에서 컨텍스트 연속성을 확보한다.
• 에이전트 워크플로에서 도구 호출과 동적 도구 로딩을 지원하며 Kimi Code CLI 같은 전용 프레임워크와의 연동을 권장한다. 공식 문서는 OpenAI/Anthropic 호환 API를 제공하여 기존 에코시스템과의 통합을 용이하게 한다. vLLM, SGLang, TokenSpeed용 레시피가 제공되어 실제 배포 경로가 명시되어 있다.

강점

• 모델 가중치를 공개하는 Kimi K3 라이선스는 연구와 배포 관점에서 재현성과 서드파티 최적화를 허용하는 강점이다. README에 따르면 전체 가중치가 공개되어 커뮤니티가 직접 배포·검증·최적화를 수행할 수 있다. 공개 가중치는 커스텀 하드웨어 적응이나 추가 연구에 유리한 기반을 제공한다.
• 네이티브 멀티모달 처리와 1M 토큰 컨텍스트를 결합한 설계는 장기 추론과 멀티턴 에이전트 작업에서 실용적 이점을 제공한다. 벤치마크 표에서 GPQA Diamond 93.5, BrowseComp 91.2 등 지표가 상위권을 보이며 이는 장기 컨텍스트와 에이전트 작업에서의 성과를 반영한다. 긴 세션에서의 안정성 확보는 복잡한 코딩·리서치 워크플로에서 특히 중요하다.
• LatentMoE 구조로 총 파라미터는 2.8T이지만 활성화 파라미터를 104B로 유지해 계산 효율을 개선한 점이 실용적 장점이다. README는 Kimi K2 대비 약 2.5배의 스케일 효율 향상을 제시하여 확장성 측면의 개선 근거를 제공한다. 이 구조는 대형 모델 운영 시 활성화 비용 절감과 성능 유지라는 트레이드오프를 개선한다.

훈련 방식

Kimi K3는 KDA·AttnRes 기반의 대규모 MoE 아키텍처를 바탕으로 SFT 단계부터 양자화 인식 훈련을 적용했다고 README에 밝히고 있다. LatentMoE로 896개 전문가 중 토큰당 16개를 활성화해 활성화 파라미터를 약 104B 수준으로 유지하는 설계를 채택하였다. 구체적 데이터셋의 출처 및 구성은 README에서 상세히 명시되지 않아 해당 부분은 추가 확인이 필요하다.

알아두면 좋은 것

• Kimi K3 아키텍처는 KDA와 AttnRes, LatentMoE를 중심으로 설계되었으며 총 2.8T 파라미터와 활성화 파라미터 약 104B를 표기한다. 어텐션 레이어 구성은 69개의 KDA와 24개의 Gated MLA로 나뉘며 어텐션 히든 차원은 7168, 헤드 수는 96이다. 이러한 하드웨어·연산 지표는 모델의 고차원 표현과 확장성 목표를 반영한다.
• 양자화는 MXFP4 가중치와 MXFP8 활성화를 사용하며 SFT 단계부터 양자화 인식 훈련을 적용했다고 명시되어 있다. 이 설정은 광범위한 하드웨어 호환성을 겨냥하며 레시피를 통해 vLLM·SGLang·TokenSpeed와 연동할 수 있다. 배포 목적의 최적화가 설계 초기 단계부터 반영된 점이 특징이다.
• API 수준에서 reasoning_content와 preserved thinking history 모드를 채택해 내부 추론 산출을 메시지 단위로 보존하도록 요구한다. 멀티턴 및 도구 호출 시 어시스턴트가 반환한 전체 메시지를 재전달해야 일관된 상태 유지가 가능하다. 이러한 동작은 에이전트의 연속적 의사결정과 디버깅 재현성 확보에 기여한다.
• 광범위한 벤치마크 표는 에이전트·코딩·멀티모달 카테고리에서 수치적 비교를 제공하며 실행 조건(reasoning effort, temperature, 하네스 차이)이 주석으로 상세히 기술되어 있다. 결과에는 도구 허용 여부와 하네스 차이가 반영되어 있으며 일부 항목은 도구 보강 전·후 점수를 병기한다. 벤치마크 해석에는 하네스와 실행 환경의 차이를 고려해야 한다.

기술적 특징

• Kimi K3는 Kimi Delta Attention(KDA)와 Attention Residuals(AttnRes)를 핵심 어텐션 구성으로 사용하며 어텐션 레이어는 69 KDA와 24 Gated MLA로 배치되어 있다. 어텐션 히든 차원은 7168이고 헤드 수는 96으로 고차원 어텐션 표현을 확보한다. 이 어텐션 구성은 모델의 멀티모달·장기 컨텍스트 처리 능력과 직결되는 설계 요소다.
• LatentMoE는 896개의 전문가를 두고 토큰당 16개의 전문가를 활성화하는 방식으로 구현되어 있으며 각 전문가의 히든 차원은 3072로 설정되어 있다. 이로 인해 활성화 파라미터 규모는 약 104B로 관리되며 README는 Kimi K2 대비 약 2.5×의 스케일 효율 개선을 보고한다. 대규모 파라미터를 보존하면서도 활성화 비용을 낮추는 것이 설계 목표다.
• 모델은 네이티브로 1,048,576 토큰의 컨텍스트 창을 지원하도록 설계되어 장기 문맥을 필요로 하는 코딩, 연구, 에이전트 작업에 초점을 맞추었다. 비전 측면에서는 MoonViT-V2(401M 파라미터) 비전 인코더를 통합해 이미지 입력을 동일 모델 내에서 처리한다. README는 비디오 입력도 지원한다고 표기하여 멀티모달 워크플로 확장을 염두에 둔 설계임을 나타낸다.
• 배포·추론 최적화를 위해 SFT 단계부터 양자화 인식 훈련을 적용하여 MXFP4 가중치와 MXFP8 활성화를 사용한다고 명시하고 있다. vLLM, SGLang, TokenSpeed용 레시피와 함께 OpenAI/Anthropic 호환 API를 제공해 실제 운영으로의 이식성을 고려했다. 또한 preserved thinking history 모드와 reasoning_content 반환을 통해 멀티턴 에이전트 상태 보존을 지원한다.

차별점

• 자체 명명된 KDA와 AttnRes 어텐션 구성과 LatentMoE를 결합해 토큰당 다수 전문가 활성화와 활성화 파라미터의 상호 균형을 잡는 설계적 차별성이 존재한다. 어텐션 레이어 구성과 높은 어텐션 차원, 다중 헤드를 통해 고차원 표현을 확보하면서 효율을 유지하는 것을 목표로 삼았다. README는 이 조합으로 K2 대비 약 2.5배의 스케일 효율 개선을 보고했다.
• 네이티브 1M 토큰 컨텍스트 창을 지원하여 긴 코드 세션·대화·문서 기반 작업에서 컨텍스트 유지능력이 두드러진다. 300K 토큰 이후의 컨텍스트 압축 전략과 병행해 긴 세션에서도 메모리·처리 비용을 관리하도록 설계되어 있다. 이 점은 일반적으로 더 짧은 컨텍스트를 갖는 모델과 실용적 차이를 만든다.
• SFT 단계부터 MXFP4/MXFP8 양자화 인식 훈련을 적용하고 vLLM·SGLang·TokenSpeed 레시피를 제공하여 배포 친화성을 높인 점이 운영 측면의 차별화 요소이다. OpenAI/Anthropic 호환 API를 제공해 기존 에코시스템과의 통합이 용이하도록 설계되었다. 또한 전체 가중치 공개를 통해 커뮤니티 기반 최적화와 검증이 가능하다.

벤치마크