LongCat-Next: 모달리티를 이산 토큰으로 어휘화한 네이티브 멀티모달 모델

실용적 조언

멀티모달 모델 구축 시 해상도 제약을 해결하기 위해 dNaViT와 같은 가변 해상도 토큰화 기법 검토 권장
이해와 생성을 동시에 수행해야 하는 서비스에서 단일 자기회귀 모델 구조를 활용하여 파이프라인 단순화 가능

섹션별 상세

기존 멀티모달 시스템의 언어 중심적 한계를 극복하기 위해 DiNA(Discrete Native Autoregressive) 프레임워크를 도입했다. 비언어적 모달리티를 외부 어댑터로 취급하던 파편화된 구조 대신, 모든 정보를 공유된 이산 공간에 표현하여 일관된 자기회귀 모델링을 수행한다. 이를 통해 텍스트, 비전, 오디오가 단일 목적 함수 하에서 유기적으로 통합되는 환경을 구축했다.

LongCat-Next 모델의 전체적인 아키텍처와 멀티모달 입출력 흐름을 보여주는 다이어그램이다. — Diagram텍스트, 비전, 오디오 입력이 각각의 토크나이저를 거쳐 이산 토큰으로 변환된 후, Modality-Agnostic MoE 기반의 LongCat-Flash 백본에서 처리되는 구조를 나타낸다. 출력 단계에서 다시 디토크나이저를 통해 텍스트 응답, 이미지 생성, 오디오 출력이 동시에 이루어지는 과정을 시각화하여 모델의 통합적 능력을 설명한다.

임의 해상도를 지원하는 dNaViT(Discrete Native Any-resolution Visual Transformer) 기술이 핵심적인 역할을 한다. 이 기술은 시각적 신호를 계층적인 이산 토큰으로 변환하거나 복원하는 과정을 수행하며, 고정된 해상도의 제약 없이 다양한 크기의 이미지를 효율적으로 처리한다. 이산 비전 모델링이 기존에 겪었던 이해 작업에서의 성능 저하 문제를 해결하여 모델의 시각 인지 능력을 대폭 향상시켰다.

LongCat-Next는 이해(Understanding)와 생성(Generation) 사이의 성능 충돌을 해결하는 통합 접근 방식을 제공한다. 단일 프레임워크 내에서 보고, 그리고, 말하는 기능을 동시에 수행하며 다양한 멀티모달 벤치마크에서 강력한 성능을 입증했다. 산업 현장에서 즉시 활용 가능한 수준의 파운데이션 모델을 목표로 개발되었으며, 모델과 토크나이저를 모두 오픈소스로 공개하여 커뮤니티의 발전을 도모한다.

용어 해설

다음 토큰 예측(Next-Token Prediction): — 언어 모델이 이전까지의 토큰 시퀀스를 입력받아 다음에 올 가장 확률 높은 토큰을 예측하며 학습하는 방식이다. 이 메커니즘은 텍스트뿐만 아니라 이미지나 오디오를 토큰화했을 때도 동일하게 적용되어 통합된 학습이 가능하게 한다.
이산 토큰화(Discrete Tokenization): — 이미지나 오디오와 같은 연속적인 신호를 유한한 집합 내의 불연속적인 기호(토큰)로 변환하는 과정이다. 이를 통해 언어 모델의 텍스트 처리 방식과 동일한 구조 내에서 시각 및 청각 정보를 처리할 수 있어 모델의 범용성이 확장된다.
전문가 혼합(MoE): — 전체 파라미터 중 입력 데이터에 적합한 일부 전문가 네트워크만 활성화하여 연산하는 아키텍처이다. LongCat-Next에서는 모달리티에 구애받지 않는(Modality-Agnostic) MoE를 사용하여 다양한 유형의 데이터를 효율적으로 처리한다.
자기회귀 모델링(Autoregressive Modeling): — 자신의 이전 출력을 다음 단계의 입력으로 사용하여 데이터를 순차적으로 생성하는 방식이다. LongCat-Next는 텍스트, 이미지, 오디오를 모두 이 방식으로 생성하여 이해와 생성 작업을 하나의 논리로 통합한다.