TL;DR
Moonshot AI가 파라미터 2.8조, 100만 토큰 컨텍스트, 네이티브 멀티모달 입력을 특징으로 하는 Kimi K3를 오픈 가중치 모델로 공개하며 공개 모델의 최전선에서 규모 경쟁을 재점화했다. 공개 문서와 소셜 리캡에서는 Kimi Delta Attention과 Attention Residuals라는 설계 요소를 함께 제시했고 이들 요소는 긴 컨텍스트와 멀티모달 처리를 지원하는 설계 의도로 연결되어 소개되었다. 커뮤니티 모니터링과 비교 차트는 Kimi K3가 기존 공개 모델들보다 파라미터 규모에서 큰 도약을 이뤘음을 보여주며 오픈 생태계 내 위치 재편 가능성을 시사한다. 다만 발표 자료와 요약에는 KDA·Attention Residuals의 상세 수식이나 실험적 검증 수치가 포함되어 있지 않으므로 구현·성능 검증은 후속 공개에 의존한다.
섹션별 상세
이미지 분석
차트는 각 회사의 대표 모델이 시간에 따라 어떻게 확장되었는지를 파라미터 수로 보여주며 Moonshot의 Kimi K3가 2.8T로 다른 공개 모델들을 크게 앞서는 지점을 시각적으로 드러낸다. 차트 오른쪽 레이블에는 DeepSeek 1.6T, Xiaomi 1.02T, Z.AI 744B 등 주요 경쟁 모델의 최신 크기가 표시되어 있어 Kimi K3의 상대적 위치를 확인할 수 있다.
회사별 플래그십 모델의 총 파라미터 수를 2025년 7월부터 2026년 7월까지 시간 축에 따라 비교한 라인 차트로, Kimi K3의 2.8T 위치를 강조한다.
용어 해설
- Context Window
- — 모델이 한 번에 처리할 수 있는 연속 토큰의 범위를 뜻하며 100만 토큰처럼 대규모 컨텍스트 윈도우는 긴 문서나 전체 대화 이력을 단일 입력으로 유지하면서 추론할 수 있게 해 모델의 활용도를 크게 확장한다.
- Multimodal Input
- — 텍스트뿐 아니라 이미지 등 다른 형태의 입력을 모델이 직접 처리할 수 있는 능력으로, 입력 표현을 통합해 단일 모델로 다양한 미디어를 해석하고 생성하는 응용을 가능하게 한다.
- Kimi Delta Attention (KDA)
- — Moonshot이 Kimi K3에 도입했다고 명시한 어텐션 관련 기법 명칭으로, 공개 문구에서는 이름과 함께 대규모 컨텍스트·멀티모달 처리와 연계되어 제시되었으나 구체적 연산·수식은 원문에 포함되지 않았다.
- Attention Residuals
- — Kimi K3 발표에서 함께 언급된 구조적 요소 이름으로, 원문에서는 모델의 설계 특징으로 제기되었으나 상세한 구현 방식이나 수치적 효과는 공개 문서 내에서 별도로 제시되지 않았다.
근거 모음
- Moonshot AI가 Kimi K3를 오픈 가중치 'Open Frontier Intelligence'로 공개했으며 총 파라미터 수를 2.8T로 제시했다. — 본문 문단: 'Moonshot officially introduced Kimi K3 as “Open Frontier Intelligence” with 2.8T total parameters...'
- Kimi K3는 100만 토큰(context)과 네이티브 멀티모달 입력을 지원한다고 발표되었다. — 본문 문단: '...with 2.8T total parameters, 1M-token context, native multimodal input...'
- Moonshot은 Kimi K3에 Kimi Delta Attention (KDA)와 Attention Residuals라는 설계 요소를 함께 명시했다. — 본문 문단: '...Kimi Delta Attention (KDA), and Attention Residuals...'
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
