섹션별 상세
NVIDIA는 Nemotron-3-Nano-30B-A3B-BF16 모델을 공개하며 Mamba2-Transformer 아키텍처에 MoE(Mixture of Experts)를 결합했다. 이 모델은 대부분의 학습 데이터를 공개했으며, 2026년 상반기에는 Latent MoE와 MTP(Multi-Token Prediction)를 적용한 100B 및 500B 규모의 Super/Ultra 모델 출시를 계획하고 있다.
Zhipu의 GLM-4.7은 학술적 벤치마크 점수는 낮으나 실제 웹사이트 UI 생성 등 실무 작업에서 Claude 3.5 Opus나 Sonnet 4.5에 필적하는 성능을 보여주었다. 다만 100K 토큰 이상의 긴 컨텍스트 처리 능력은 다소 부족하며 텍스트 전용 모델이라는 한계가 있으나, 저렴한 비용으로 자가 호스팅이 가능하다는 점이 큰 장점이다.
Arcee-AI는 6B-A1B(Nano) 및 26B-A3B(Mini) MoE 모델인 Trinity 시리즈를 출시했으며, 조만간 20T 토큰으로 학습된 420B 규모의 Large 모델을 공개할 예정이다. 이들은 허용적인 라이선스를 사용하여 미국 내 오픈 모델 구축 커뮤니티의 성장을 주도하고 있다.
LLM360 프로젝트의 K2-V2는 12T 토큰의 프리트레이닝 데이터부터 SFT 과정까지 모든 데이터를 투명하게 공개하는 70B 밀집 모델을 선보였다. 모든 학습 단계의 체크포인트를 함께 제공하여 연구 커뮤니티가 모델의 학습 과정을 상세히 분석할 수 있도록 지원한다.
ServiceNow는 토큰 효율성을 극대화한 Apriel-1.6-15b-Thinker를, Xiaomi는 309B-A15B 규모의 대형 MoE 모델인 MiMo-V2-Flash를 공개했다. DeepSeek은 DSA(Dynamic Sparse Attention)를 통합한 V3.2 시리즈를 업데이트하며 수학 및 코딩 경진대회 수준의 성능을 갖춘 'Speciale' 버전을 발표했다.
용어 해설
- 전문가 혼합(MoE)
- — 모델의 전체 파라미터 중 입력값에 따라 필요한 일부 '전문가' 네트워크만 활성화하여 연산 효율성을 극대화하는 아키텍처이다. 추론 비용을 낮추면서도 모델의 전체 용량을 크게 유지할 수 있어 대규모 언어 모델의 핵심 기술로 자리 잡았다.
- 맘바2(Mamba2)
- — 기존 Transformer의 Attention 메커니즘이 가진 연산 복잡도 문제를 해결하기 위해 제안된 상태 공간 모델(SSM)의 최신 버전이다. 긴 시퀀스 데이터를 처리할 때 선형적인 시간 복잡도를 가지며, Transformer와 결합하여 효율적인 추론 성능을 제공한다.
- 다중 토큰 예측(MTP)
- — 모델이 다음 하나의 토큰만 예측하는 대신 동시에 여러 개의 미래 토큰을 예측하도록 학습하는 기법이다. 학습 효율을 높이고 추론 시 투기적 디코딩(Speculative Decoding) 성능을 향상시켜 전체적인 처리 속도를 개선한다.
- 동적 희소 어텐션(DSA)
- — DeepSeek에서 도입한 기술로, 어텐션 연산 시 중요도가 낮은 부분은 생략하고 필요한 부분에만 연산 자원을 집중하는 방식이다. 모델의 성능 저하를 최소화하면서도 메모리 사용량과 연산량을 획기적으로 줄여준다.
- 지도 미세 조정(SFT)
- — 사전 학습된 기본 모델을 특정 지시사항이나 대화 형식에 맞게 정답 데이터셋으로 추가 학습시키는 과정이다. 모델이 사용자의 의도를 이해하고 적절한 답변 형식을 갖추도록 만드는 필수적인 정렬 단계이다.
기술
- Nemotron-3-Nano
- GLM-4.7
- Trinity-Mini
- K2-V2
- DeepSeek-V3.2
- Mamba2-Transformer
활용 사례
- 웹사이트 UI 자동 생성
- 저비용 고성능 코딩 에이전트 구축
- 수학 및 코딩 경진대회 문제 해결
- 온프레미스 환경의 대규모 언어 모델 배포
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 05.수집 2026. 02. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
