TL;DR

Moonshot AI가 공개한 Kimi K3는 K2에서의 트릴리언 토큰 스케일링 경험을 바탕으로 설계된 차세대 LLM으로서 심층 추론, 에이전트형 도구 호출, 그리고 리포지토리급 코드 이해를 핵심 목표로 삼고 있다. Mixture-of-Experts 아키텍처를 통해 일부 전문가만 활성화하는 방식으로 단일 요청의 연산을 줄여 K2 대비 추론 효율을 높이는 구조를 채택했으며 네이티브로 도구 호출과 브라우징, 멀티스텝 계획을 지원하도록 설계되었다. 확장된 컨텍스트 창은 장기적 코드 의존성 포착을 가능하게 하여 대규모 코드베이스 작업에 적합하도록 기획되었으며 가중치는 공개되고 관대한 라이선스로 배포될 예정이나 현재 가중치는 아직 공개되지 않아 실제 성능 수치와 세부 라이선스 조건은 릴리스 시점에 확인해야 한다.

핵심 포인트

• Mixture-of-Experts 아키텍처를 통해 모델 전체 파라미터를 유지하면서도 추론 시 일부 전문가만 활성화하여 실전 추론 효율을 개선한 점이 차별화 요소다. 이 방식은 대형 모델의 배포 비용과 지연을 낮추는 실용적 장점을 제공한다. README는 이를 K2보다 효율적이라고 명시하고 있다.
• 에이전트형 도구 호출과 브라우징, 멀티스텝 계획을 네이티브로 통합해 외부 도구와의 상호작용을 모델 내부 흐름으로 구현한 점이 차별화 포인트다. 이 구조는 복잡한 작업을 단계적으로 처리하는 자동화 파이프라인에 직접적으로 유리하다. README는 이러한 기능들을 모델의 주요 기대 사항으로 표기하고 있다.
• 확장된 컨텍스트 윈도우를 통해 리포지토리 규모의 코드 이해를 목표로 설계된 점이 코드 관련 태스크에서의 차별성으로 작용한다. 장기 의존성 포착과 파일 간 참조 처리가 필요한 작업에서 유리한 구조적 장점을 제공한다. README는 장기 코드 이해를 모델의 설계 목표로 명확히 제시하고 있다.
• Mixture-of-Experts 아키텍처 채택으로 인해 단일 요청에서 일부 전문가만 활성화함으로써 추론 효율을 개선하는 장점이 있다. 이 방식은 대규모 파라미터를 유지하면서도 실전 배포 시 연산 비용과 응답 지연을 줄이는 데 유리하다. README는 K2 대비 추론 효율이 유의미하게 개선되었다고 명시하고 있어 실전 응용 관점의 이점이 강점으로 보인다.