챕터별 상세
시퀀스 모델의 새로운 흐름: 재귀 및 선형 모델의 부활
최근 2~3년 사이 Transformer의 대안으로 Mamba, xLSTM, TTT와 같은 하위 이차(subquadratic) 복잡도를 가진 모델들이 주목받고 있다. 이러한 모델들은 시퀀스 길이에 따라 연산량이 선형적으로 증가하며, Jamba나 Samba와 같은 대규모 하이브리드 모델에 채택되어 실질적인 성능을 입증하고 있다. 발표자는 이를 '현대적 재귀 모델'로 정의하며 기존 RNN의 한계를 극복한 새로운 설계 패러다임을 제시한다.
Transformer의 근본적 한계: KV 캐시와 이차 복잡도
Transformer는 추론 시 모든 과거 토큰을 명시적으로 저장하는 KV 캐시(KV Cache) 메커니즘을 사용한다. 이 방식은 과거의 모든 정보를 정확하게 참조할 수 있게 해주지만, 시퀀스 길이가 길어질수록 메모리와 연산량이 제곱(Quadratic)으로 증가하는 비효율성을 초래한다. 결과적으로 매우 긴 문맥을 처리할 때 하드웨어 자원의 한계에 부딪히게 되는 구조적 결함을 가지고 있다.
KV 캐시는 Transformer가 이전 계산 결과를 재사용하기 위해 메모리에 유지하는 데이터 덩어리로, 문맥이 길어질수록 기하급수적으로 커진다.
상태 공간 모델(SSM)의 작동 원리와 압축의 미학
SSM은 입력 토큰을 명시적으로 저장하는 대신 고정된 크기의 '상태(State)'에 정보를 압축하여 업데이트한다. 새로운 토큰이 들어오면 기존 상태를 갱신하고 개별 토큰 데이터는 폐기함으로써 추론 시간을 시퀀스 길이에 관계없이 일정하게 유지한다. 이는 정보를 데이터베이스에 기록하는 Transformer와 달리, 정보를 뇌의 기억처럼 압축된 형태로 관리하는 방식이다.
text
h_t = A_t * h_{t-1} + B_t * x_t
y_t = C_t * h_t상태 공간 모델(SSM)의 핵심인 선형 재귀 방정식 정의
효과적인 SSM을 위한 3가지 핵심 요소
성능이 우수한 SSM을 설계하기 위해서는 상태 크기(State size), 상태 업데이트 함수(State update), 연산 효율성(Efficiency)이 중요하다. Mamba는 입력 데이터에 따라 가중치를 조절하는 선택 메커니즘(Selectivity)을 도입하여 기존 선형 모델의 표현력 한계를 극복했다. 또한 Associative Scan 알고리즘을 통해 재귀 모델임에도 불구하고 병렬 연산이 가능하도록 설계하여 학습 속도를 비약적으로 높였다.
데이터베이스 vs 뇌: 아키텍처 비유를 통한 이해
발표자는 Transformer를 모든 것을 기록하는 '데이터베이스'에, SSM을 정보를 요약하는 '뇌'에 비유한다. Transformer는 정확한 정보 인출(Retrieval)과 복사 작업에 탁월하지만 압축 능력이 부족하다. 반면 SSM은 세부 수치 기억에는 약할 수 있으나 정보의 핵심을 파악하고 추상화(Abstraction)를 구축하는 데 유리하며, 이는 인간의 지능 작동 방식과 더 유사하다.
토크나이저의 역할과 SSM의 범용성
Transformer는 의미 단위로 잘린 토큰(Subword) 데이터에서 가장 잘 작동하며, 원시 바이트(Raw bytes)나 DNA 시퀀스처럼 토크나이저가 불분명한 데이터에서는 효율이 급격히 떨어진다. 반면 SSM은 데이터의 해상도나 의미 구조에 덜 민감하여 바이트 레벨 모델링이나 게놈 데이터 분석에서 Transformer보다 3배 이상의 효율성을 보여준다. 이는 SSM이 데이터 내부의 계층적 구조를 스스로 학습하는 능력이 뛰어남을 시사한다.
H-Net: 토크나이저 없는 계층적 시퀀스 모델링
발표자의 연구팀이 개발한 H-Net은 명시적인 토크나이저 없이 원시 데이터에서 동적으로 청크(Chunk)를 생성하여 학습한다. 이 모델은 하단부에서 SSM 인코더를 사용해 데이터를 압축하고 상단부에서 Transformer로 고차원 의미를 처리하는 계층 구조를 가진다. 실험 결과 BPE 토크나이저를 사용한 기존 방식보다 더 나은 스케일링 법칙을 보여주며 인위적인 전처리 없이도 지능적인 모델링이 가능함을 증명했다.
결론: 압축은 버그가 아니라 지능의 핵심 기능이다
과거에는 SSM의 정보 압축을 정보 손실이라는 단점으로 보았으나, 연구 결과 압축은 오히려 지능적인 추상화를 형성하는 핵심 기제임이 밝혀졌다. Transformer는 고정된 토큰 구조에 종속적이지만, SSM은 데이터로부터 스스로 의미 있는 단위를 찾아내는 유연성을 가진다. 미래의 모델은 정확한 검색을 위한 Attention과 효율적인 추상화를 위한 SSM이 결합된 하이브리드 형태가 될 것이다.
부록: MongoDB를 활용한 Vision RAG 시스템
강연 후반부에는 MongoDB 관계자가 등장하여 멀티모달 RAG 시스템 구축 사례를 공유한다. 기존의 텍스트 중심 RAG와 달리 이미지와 텍스트를 통합 임베딩 공간에서 처리하는 Vision RAG의 중요성을 설명한다. MongoDB Atlas의 벡터 검색 기능을 활용하면 보험 청구 사진 분석과 같은 복잡한 비정형 데이터 처리 파이프라인을 단일 플랫폼에서 효율적으로 운영할 수 있음을 강조한다.
용어 해설
- 상태 공간 모델(State Space Model)
- — 제어 이론에서 유래한 수학적 모델로, 시스템의 상태 변화를 미분 방정식이나 차분 방정식으로 표현하는 기법이다. 시퀀스 데이터 처리 시 Transformer의 이차 복잡도 문제를 해결하기 위해 선형 복잡도를 가진 아키텍처로 재설계되어 효율적인 장기 기억 처리를 가능하게 한다.
- KV 캐시(KV Cache)
- — Transformer 모델의 추론 과정에서 이전 토큰들의 Key와 Value 행렬을 메모리에 저장해두는 기술이다. 매번 처음부터 다시 계산하는 낭비를 줄여주지만, 시퀀스 길이가 길어질수록 메모리 사용량이 선형적으로 증가하여 하드웨어 자원의 병목 현상을 일으키는 주요 원인이 된다.
- 하위 이차 복잡도(Subquadratic Complexity)
- — 데이터 길이 N에 대해 연산량이 N의 제곱보다 낮은 수준(예: N log N 또는 N)으로 증가하는 성질을 의미한다. Transformer의 Attention 메커니즘이 가진 O(N^2) 비용을 극복하여 매우 긴 문맥을 저비용으로 처리하기 위한 차세대 AI 모델 설계의 핵심 목표이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 28.수집 2026. 04. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
