TL;DR

Kimi K2.7 Code는 코드 중심의 장기 에이전트 워크플로우에 초점을 맞춘 대형 멀티모달 LLM이다. 모델은 Kimi K2.6을 기반으로 MoE 아키텍처(전체 1T, 활성화 32B), MoonViT 비전 인코더(약 400M), SwiGLU 활성화, MLA 어텐션을 결합해 코드·문서·이미지·비디오 입력을 처리하도록 설계되었다. 모델은 토큰당 최대 8개의 전문가를 선택하는 384-expert MoE와 256K 컨텍스트를 통해 긴 코드베이스와 다단계 도구 호출을 유지한다. Thinking 모드와 preserve_thinking가 강제되어 내부 추론을 세션 간 보존하고 Interleaved Thinking 및 Multi-Step Tool Call 패턴을 공식 지원한다. 네이티브 INT4 양자화와 Unsloth GGUF 워크플로를 통해 대형 모델의 배포·메모리 트레이드오프를 제어한다. 공식 벤치마크에서 K2.6 대비 전반적 성능 향상이 보고되었으나 GPT-5.5·Claude Opus 4.8와 비교하면 일부 벤치에서는 격차가 존재한다. 또한 전체 파라미터 규모와 높은 컨텍스트 지원은 저장·메모리 요구를 크게 증가시키므로 양자화와 같은 추가 최적화가 배포에서 필수적이다.

핵심 포인트

• MoE 아키텍처(384 experts, 토큰당 8개 선택)로 전체 파라미터는 1T이지만 활성화 파라미터를 32B로 관리
• 256K의 매우 긴 컨텍스트 길이로 장기 에이전트·코드 작업에 초점
• preserve_thinking 모드를 강제해 추론 과정(reasoning)을 세션 간 보존하고 Interleaved Thinking·Multi-Step Tool Call 패턴을 공식 지원
• MoonViT 시각 인코더 통합으로 이미지·비디오 입력을 네이티브하게 처리

벤치마크