TL;DR

Kimi K3는 Moonshot AI가 공개한 2.8T 총 파라미터·104B 활성 파라미터 규모의 오픈 웨이트 모델로, Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)를 새로 도입하고 896개 전문가 중 16개만 활성화하는 Stable LatentMoE로 K2 대비 약 2.5배의 스케일링 효율을 달성했다고 밝힌다. 텍스트·이미지·비디오를 하나의 모델에서 이해하며 1M 토큰 컨텍스트를 네이티브로 지원해, 최소한의 인간 개입으로 대규모 리포지토리를 탐색하고 터미널 도구를 오케스트레이션하는 장기 코딩 세션을 유지할 수 있다. GPQA Diamond 93.5, Terminal-Bench 2.1 88.3, BrowseComp 91.2 등에서 Claude Opus 4.8·GPT-5.5와 대등하거나 앞서는 결과를 보였고, SFT 단계부터 MXFP4 가중치/MXFP8 활성화 양자화를 적용한 QAT로 광범위한 하드웨어에서 서빙 가능하도록 만들었다. Kimi Code CLI와 함께 쓰면 GPU 커널 최적화부터 칩 설계까지 아우르는 장기 엔지니어링 작업에 적합하다.

핵심 포인트

• KDA+AttnRes와 896개 중 16개만 쓰는 Stable LatentMoE로 K2 대비 약 2.5배 스케일링 효율을 낸다.
• 1M 토큰 네이티브 컨텍스트와 텍스트·이미지 통합 처리로 장기 코딩 세션을 유지한다.
• GPQA Diamond 93.5·Terminal-Bench 2.1 88.3·BrowseComp 91.2로 Claude Opus 4.8을 앞선다.
• SFT 단계부터 MXFP4/MXFP8 양자화 인식 학습(QAT)을 적용해 넓은 하드웨어에서 서빙할 수 있다.

벤치마크