TL;DR
이번 기간엔 에이전트·멀티모달 비디오·전훈련 방법 세 축에서 가시적 진전이 관찰됐다. DeepSeek‑V4‑Flash 0731은 희소 MoE(256 experts, 토큰당 6개 활성화), 1M 토큰 문맥창, DSpark 추측적 디코딩 통합으로 에이전트 성능과 서빙 효율을 동시에 겨냥했고 여러 경로로 로컬·호스팅 배포가 확산됐다(예: lossless 4-bit on 168GB, TerminalBench 점수 82.7 기록). MiniMax H3는 네이티브 오디오 동기화·멀티레퍼런스 조건화로 한 번의 패스로 영상·음성을 생성해 제작 워크플로우 통합을 목표로 한다. 연구 측면에선 Explorative Modeling과 Echoverse 사례가 ‘환경 복잡도·탐색’이 모델 일반화와 데이터·FLOP 효율에 미치는 구체적 수치를 제시해 전훈련 설계의 방향을 바꾸고 있다.
𝕏 실시간 트렌드 토픽
🔥 DeepSeek‑V4‑Flash 0731 공개와 서빙 확산포스트 8
DeepSeek‑V4‑Flash 0731은 희소 MoE(256 routed experts, 토큰당 6개 활성화), 1M 토큰 문맥창, DSpark 드래프트 통합 형태로 에이전트·툴 사용을 겨냥한 구조를 내세우며 공개와 함께 로컬·호스팅 경로로 빠르게 확산되고 있다; Cline 보고의 TerminalBench 82.7(초기 56.9 대비 +25.8) 같은 점수 변화와 vllm 측의 서빙 설정 언급이 이를 뒷받침한다.
- 문제와 입력→처리→출력: 에이전트형 워크로드는 긴 문맥과 도구 호출·추론 효율을 동시에 요구한다. DeepSeek은 1M 토큰 문맥창으로 긴 롤아웃을 한 모델 안에서 유지하고, 희소 MoE가 토큰별로 적은 전문가만 활성화해 계산을 분배하며, DSpark 드래프트 모듈(추측적 디코딩)을 통해 서빙 단계에서 모델 전환 비용을 줄인다. 근거: vllm 발표의 ‘256 routed experts’, ‘6 active per token’, ‘1M-token context window’, 그리고 DSpark 연계 플래그가 명시됐다. 의미: 긴 대화·코드·에이전트 작업을 단일 체크포인트로 처리하면서 서빙 비용과 레이턴시를 낮출 수 있다.
- 운영·배포 측면(입력→처리→출력): 공개 직후 여러 배포 방식으로 확산되는 점이 관측된다. 로컬 실행 안내에선 lossless 4-bit가 168GB RAM에서, 3-bit는 110GB에서 동작한다는 실무 수치가 제시됐고 Hugging Face·Unsloth·Cline 등에서 공개 엔드포인트와 GGUF 형태로 배포가 진행됐다. 근거: 각 커뮤니티 글의 RAM·포맷·엔드포인트 공지가 존재함. 의미: 고성능 에이전트를 자체 호스팅하려는 조직과 커뮤니티 실험이 빠르게 늘어날 수 있다.
- 성능과 논쟁(입력→처리→출력): 벤치마크 수치와 비용 지표가 토론의 핵심이다. Cline의 TerminalBench 82.7(초기 56.9 대비 +25.8) 같은 점수 상승 보고와 일부 커뮤니티의 비용·품질 평가가 병행되며, 서빙 설정(예: speculative-config)과 퀀타이제이션 옵션이 실제 성능·비용 균형을 좌우한다. 근거: Cline·vllm·커뮤니티 릴리스 글에 제시된 점수와 설정 예시. 의미: 채택은 성능·비용 둘 다 검증된 설정에 따라 빠르게 갈리며, 오픈 가중치 출시 시 생태계 반응이 가시화될 전망이다.
📈 MiniMax H3 라이브와 오픈 웨이트 예고포스트 7
MiniMax H3는 2K 영상·네이티브 오디오 동기화·멀티레퍼런스 조건화를 한 모델 안에 담아, 단일 호출로 영상과 해당 사운드를 일관되게 생성하는 흐름을 제시하며 Venice·Leonardo·Argil 등에서 파트너십 기반 배포가 시작됐다; 오픈 웨이트는 추후 공개될 예정이다.
- 문제와 입력→처리→출력: 영상 제작 파이프라인은 영상·오디오·캐릭터 정합을 유지하는 여러 툴 체인을 필요로 한다. MiniMax H3는 참조(멀티 레퍼런스)를 입력으로 받아 동일한 캐릭터·음성·장면 정체성을 영상과 오디오에 동시에 반영해 한 번의 생성으로 결과물을 내는 구조다. 근거: 공식·파트너 공지에서 ‘native synced audio’, ‘multi-reference conditioning’, ‘one model’ 같은 기능 설명이 반복됐다. 의미: 광고·게임·브랜디드 콘텐츠에서 후처리 부담을 줄여 제작 효율을 끌어올릴 가능성이 있다.
- 배포·생태계(입력→처리→출력): 초기 출시 채널은 플랫폼 연동 중심이다. Venice·Leonardo·Argil·PixVerse 등에서 H3 탑재와 멤버 프로모션이 진행되며, 일부 채널은 한시적 할인·크레딧 캠페인을 병행한다는 운영 공지가 있었다. 근거: 플랫폼별 릴리스 트윗과 프로모션 내용. 의미: 제작자 접근성이 올라가면 오픈 웨이트 공개 전에도 실사용 피드백이 빨라지고, 오픈 이후 생태계 확장 가능성이 커진다.
📈 Explorative Modeling(탐색적 모델링)의 정량적 주장포스트 1
Explorative Modeling은 파라미터·데이터 외에 ‘exploration’ 축을 추가해 전훈련 단계에서 탐색을 확대하면 데이터·FLOP·파라미터 효율을 동시 개선한다는 주장과 구체적 수치(예: 데이터 효율 6.2×, FLOP 효율 4.1×, 파라미터 효율 47%, ImageNet unguided FID 1.43)가 제시됐다.
- 문제와 입력→처리→출력: 기존 전훈련은 파라미터·데이터·컴퓨트 조정에 집중했으나, 탐색(exploration)을 체계적으로 늘리면 모델이 더 광범위한 행동·생성 경로를 학습할 수 있다는 전제다. 게시글은 간단한 구현으로는 ‘for loop’ 수준의 탐색을 추가하는 방식이라 표기했다. 근거: 원문은 스케일에 따라 탐색의 이득이 커진다고 수치(데이터 7%→36%, 파라미터 13%→23% 등)로 제시했다. 의미: 전훈련 설계에 탐색 전략을 결합하면 동일 자원에서 일반화 성능을 끌어올리는 대안 경로가 된다.
- 성능 근거와 의미: 제시된 정량값은 데이터·파라미터·컴퓨트 각각에 대해 탐색 도입 시 얻는 이득을 구체화한다(예: 데이터 효율 6.2×, FLOP 효율 4.1×). 또한 탐색 기반 End-to-end XMs가 diffusion과 유사한 제어 성능을 훨씬 적은 추론 연산으로 달성했다고 표기돼, 추론 비용 축소 전략으로도 잠재력이 있다는 점을 시사한다. 근거: 원문 수치와 ImageNet FID·추론 계산비 비교.
📈 Echoverse: 환경 합성과 공동진화 루프포스트 1
Microsoft의 Echoverse 파이프라인은 상태형 애플리케이션을 합성해 태스크를 자체 데이터베이스로 채점하고, 모든 롤아웃을 두 차례(환경 수리용·훈련 신호용) 읽어 환경과 모델을 공동진화시키는 방식으로 에이전트 학습을 확장한다; 환경 복잡도가 모델 정확도에 큰 영향을 미친다는 실험 결과가 제시됐다.
- 문제와 입력→처리→출력: 대규모 에이전트 학습에서 환경 생성이 병목이 되고, 얕은(간단한) 환경은 오히려 실전 성능을 저하시킨다. Echoverse는 사양을 상태형 애플리케이션으로 컴파일해 각 롤아웃을 평가하고, 평가 결과를 기반으로 환경·태스크·검증기를 수리(repair)하는 단계와 모델 학습 신호로 쓰는 단계를 분리해 반복한다. 근거: 논문 개요에 ‘사양→상태형 앱→두 차례의 읽기’ 루프가 명시됐다. 의미: 환경을 같이 개선하는 구조가 실사용 성능을 올리는 방향으로 작동할 수 있다.
- 실험 근거와 효과: 같은 도메인에서 얕은 환경은 라이브 정확도를 80.0에서 75.0으로 떨어뜨렸고, 깊은 환경은 80.0→85.0, 48.0→65.0으로 올렸다. 하나의 환경을 수리한 사례는 해당 환경에서 학습한 모델 성능을 16.2%→38.5%로 끌어올렸고, 12개 환경을 통합한 실험에서 9B 모델이 36.5%→67.1%로 상승해 더 큰 모델과의 격차가 14포인트 수준으로 좁혀졌다. 의미: 환경 설계·수리 투자 대비 모델 성능 향상이 크므로 평가용 환경의 품질이 곧 학습 효율과 직결된다.
➖ GoogleAI 업데이트: Gemini 계열·도구·멀티모달 기능포스트 4
GoogleAI는 최근 요약에서 Gemini Robotics 2, Gemini 3.5 Flash‑Lite(고속 agentic 워크플로우 최적화), Gemini 3.6 Flash(빠르고 정확하며 토큰 사용량 감소), Gemini 3.5 Flash Cyber(정부·신뢰 파트너용), Nano Banana 2(위성·항공·3D 기반 이미지 생성), Lyria 3.5(음악 모델) 등 제품·모델 업데이트를 발표했다.
- 제품군과 목적(입력→처리→출력): Gemini 3.5 Flash‑Lite는 고속 agentic 워크플로우용으로 설계돼 빠른 상호작용을 목표로 하고, 3.6 Flash는 작업 전반에서 더 빠르고 정확하면서 토큰 소모를 줄이는 방향으로 개선되었다고 표기됐다. 근거: GoogleAI 요약의 기능별 문장들. 의미: 에이전트·도구 연동 환경에서 응답 속도와 토큰 효율은 실용성 결정 요인이므로, 이 계열의 최적화는 엔터프라이즈·에이전트 적용을 촉진할 수 있다.
- 멀티모달·응용(입력→처리→출력): Nano Banana 2는 위성·항공·3D 이미지 소스를 활용해 장소 기반 커스텀 이미지를 생성할 수 있고, Lyria 3.5는 음악 생성 모델로 Google Flow Music에 적용된다는 점이 언급됐다. 근거: 요약 문장의 해당 항목들. 의미: 공간 데이터 기반 생성과 음악 모델의 상용 적용이 늘어나며 멀티모달 적용 범위가 확장될 전망이다.
용어 해설
- 희소 MoE(sparse MoE)
- — 토큰별로 일부 전문가(Experts)만 활성화하는 모델 아키텍처로, 이번 기간엔 DeepSeek 계열에서 ‘256 routed experts’와 ‘토큰당 6개 활성화’라는 구성이 명시됐다. 입력 토큰이 라우팅 규칙에 따라 소수의 전문가를 선택하면 계산 비용을 토큰 수준에서 절감하면서도 용량을 늘리는 방식이며, 대규모 컨텍스트·에이전트 워크로드에 맞춘 설계로 소개됐다.
- 추측적 디코딩(speculative decoding)
- — 추측적 디코딩은 별도 초안 생성 모델을 병렬로 호출해 일부 토큰을 미리 생성한 뒤 주 모델로 확정하는 최적화 기법으로, vllm 관련 문맥에서는 DSpark 드래프트 모듈을 내장해 '플래그 한 개'로 활성화한다고 명시됐다. 이 접근은 서빙 시 모델 스위칭 비용을 줄이는 운영상의 이점이 있다.
- 탐색적 모델링(Explorative Modeling)
- — 전통적 파라미터·데이터 축 외에 'exploration'을 세 번째 전훈련 축으로 둔 개념으로, 게시글은 데이터·파라미터·컴퓨트 스케일에 따라 탐색 증가가 성능 이득을 키운다고 보고했다. 제시된 수치로는 데이터 스케일에서 7%→36% 이득, 파라미터 스케일에서 13%→23% 이득, 전체로는 데이터 효율 6.2×, FLOP 효율 4.1×, 파라미터 효율 47% 향상 등이 있다.
- 1M 토큰 문맥창(1M-token context window)
- — 한 모델 인스턴스가 한 번에 처리할 수 있는 문맥 토큰 수를 1백만 토큰까지 확장한 구성으로, DeepSeek-V4-Flash 측에서 해당 대용량 창을 지원한다고 표기했다. 긴 대화·코드·롤아웃 기반 에이전트 작업에서 문맥 유지와 추론 통합에 직접적인 영향을 준다.
- Echoverse
- — Microsoft 연구에서 제안된 에이전트 학습 파이프라인 이름으로, 사양에서 상태형 애플리케이션을 합성하고 각 롤아웃을 평가해 두 차례로 읽는 공동진화(co-evolution) 루프를 운영한다. 보고된 결과로는 얕은 환경이 모델 정확도를 떨어뜨리고(80.0→75.0), 깊은 환경은 올리며(80.0→85.0, 48.0→65.0), 환경 수리 한 건으로 모델 성능이 16.2%→38.5%로 상승하는 사례가 있다.
코드 예제
--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'vllm/서빙 설정에서 DSpark 연계 추측적 디코딩을 활성화하는 플래그 예시. 모델 호출 시 초안(draft)을 내부 모듈로 생성하도록 해 별도 초안 모델을 불러오지 않게 구성한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.