저지연 실행 모델 제안과 활용 논의: 총 124B·활성 5.1B·256K 컨텍스트

커뮤니티 반응은 호기심과 신중함이 혼재했다. 많은 사용자가 높은 컨텍스트 창과 낮은 첫 토큰 지연이라는 수치에 관심을 보였고 도구 실행 지연을 줄이는 실전적 가치에 긍정적 반응을 보였다. 반면 API 전용과 가중치 미공개로 인한 재현성 부족과 벤더 락인 우려를 제기하는 목소리도 적지 않았다.

Execution Model

— 실행 모델은 복잡한 추론 계획을 세우는 대신 도구 호출과 반복적인 기계적 작업을 빠르게 처리하도록 설계된 모델 아키텍처이다. 입력 요청을 받아 도구 호출이나 외부 API 연동 같은 실행 중심 작업으로 변환하고, 이 과정에서 짧은 지연과 높은 처리량을 우선으로 운영된다. 에이전트 아키텍처에서 플래너와 짝을 이루어 대량의 I/O 중심 작업을 오프로드함으로써 전체 시스템의 비용과 응답 지연을 줄이는 역할을 한다.

Sparse MoE

— Sparse MoE는 전체 모델의 일부 전문가만 활성화해 계산 효율을 높이는 아키텍처로, 요청별로 선택된 소수의 서브네트워크만 연산에 참여한다. 이 방식은 전체 파라미터 수는 크지만 실제 활성화되는 파라미터는 적어 메모리와 연산 비용을 줄이는 효과가 있다. 희소 MoE는 대규모 추론에서 전문가 선택과 로드 밸런싱이 성능과 비용에 직접적인 영향을 미친다.

Context Window

— 컨텍스트 창은 모델이 한 번에 참조할 수 있는 입력 토큰의 범위를 말하며 창 크기가 클수록 긴 문맥이나 대화 이력을 한꺼번에 처리할 수 있다. 256K 같은 대용량 컨텍스트는 긴 문서 처리나 장기 대화 유지에 유리하지만 메모리와 토큰 처리 비용이 크게 증가한다. 실행 모델은 넓은 컨텍스트를 활용해 도구 호출과 상태 유지 비용을 줄이면서도 빠른 응답을 목표로 설계될 수 있다.

Active Parameters

— 활성 파라미터는 특정 요청 처리 시 실제로 연산에 참여하는 파라미터의 수를 말하며 전체 파라미터 대비 활성화 비율이 낮을수록 계산 효율이 높아진다. 예를 들어 총 124B 중 5.1B만 활성화되는 구조는 요청당 필요한 연산량과 메모리 사용을 크게 줄여 서브100ms 수준의 응답성을 달성할 수 있다. 활성 파라미터 설계는 아키텍처 선택과 전문가 라우팅 정책에 따라 실효성 차이가 발생한다.