이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
핵심 요약
Transformer는 데이터베이스처럼 모든 과거 정보를 명시적으로 저장하여 정확한 검색에 강점이 있는 반면, SSM은 뇌처럼 정보를 압축된 상태로 유지하여 선형적인 효율성과 추상화 구축에 강점을 가진다. 두 모델은 상호 보완적이며 하이브리드 구조를 통해 최적의 성능을 낼 수 있다.
배경
스탠포드 대학교의 CS25(Transformers United) 세미나 시리즈의 일환으로 진행된 강연이다.
대상 독자
AI 아키텍처 연구자, 시퀀스 모델링 효율화에 관심 있는 엔지니어, 컴퓨터 과학 전공자
의미 / 영향
이 강연은 Transformer 일변도의 AI 아키텍처 시장에서 SSM이 가진 고유한 가치와 미래 가능성을 명확히 제시한다. 특히 긴 문맥 처리 비용이 기하급수적으로 증가하는 현재의 한계를 돌파할 수 있는 설계 지침을 제공한다. 실무적으로는 텍스트 외의 도메인(바이오, 로그 분석 등)에서 SSM 기반 모델을 우선 고려해야 할 강력한 근거를 뒷받침한다.
챕터별 상세
01:28
시퀀스 모델의 새로운 흐름: 재귀 및 선형 모델의 부활
최근 2~3년 사이 Transformer의 대안으로 Mamba, xLSTM, TTT와 같은 하위 이차(subquadratic) 복잡도를 가진 모델들이 주목받고 있다. 이러한 모델들은 시퀀스 길이에 따라 연산량이 선형적으로 증가하며, Jamba나 Samba와 같은 대규모 하이브리드 모델에 채택되어 실질적인 성능을 입증하고 있다. 발표자는 이를 '현대적 재귀 모델'로 정의하며 기존 RNN의 한계를 극복한 새로운 설계 패러다임을 제시한다.
06:04
Transformer의 근본적 한계: KV 캐시와 이차 복잡도
Transformer는 추론 시 모든 과거 토큰을 명시적으로 저장하는 KV 캐시(KV Cache) 메커니즘을 사용한다. 이 방식은 과거의 모든 정보를 정확하게 참조할 수 있게 해주지만, 시퀀스 길이가 길어질수록 메모리와 연산량이 제곱(Quadratic)으로 증가하는 비효율성을 초래한다. 결과적으로 매우 긴 문맥을 처리할 때 하드웨어 자원의 한계에 부딪히게 되는 구조적 결함을 가지고 있다.
KV 캐시는 Transformer가 이전 계산 결과를 재사용하기 위해 메모리에 유지하는 데이터 덩어리로, 문맥이 길어질수록 기하급수적으로 커진다.
08:04
상태 공간 모델(SSM)의 작동 원리와 압축의 미학
SSM은 입력 토큰을 명시적으로 저장하는 대신 고정된 크기의 '상태(State)'에 정보를 압축하여 업데이트한다. 새로운 토큰이 들어오면 기존 상태를 갱신하고 개별 토큰 데이터는 폐기함으로써 추론 시간을 시퀀스 길이에 관계없이 일정하게 유지한다. 이는 정보를 데이터베이스에 기록하는 Transformer와 달리, 정보를 뇌의 기억처럼 압축된 형태로 관리하는 방식이다.
text
h_t = A_t * h_{t-1} + B_t * x_t
y_t = C_t * h_t상태 공간 모델(SSM)의 핵심인 선형 재귀 방정식 정의
08:49
효과적인 SSM을 위한 3가지 핵심 요소
성능이 우수한 SSM을 설계하기 위해서는 상태 크기(State size), 상태 업데이트 함수(State update), 연산 효율성(Efficiency)이 중요하다. Mamba는 입력 데이터에 따라 가중치를 조절하는 선택 메커니즘(Selectivity)을 도입하여 기존 선형 모델의 표현력 한계를 극복했다. 또한 Associative Scan 알고리즘을 통해 재귀 모델임에도 불구하고 병렬 연산이 가능하도록 설계하여 학습 속도를 비약적으로 높였다.
17:30
데이터베이스 vs 뇌: 아키텍처 비유를 통한 이해
발표자는 Transformer를 모든 것을 기록하는 '데이터베이스'에, SSM을 정보를 요약하는 '뇌'에 비유한다. Transformer는 정확한 정보 인출(Retrieval)과 복사 작업에 탁월하지만 압축 능력이 부족하다. 반면 SSM은 세부 수치 기억에는 약할 수 있으나 정보의 핵심을 파악하고 추상화(Abstraction)를 구축하는 데 유리하며, 이는 인간의 지능 작동 방식과 더 유사하다.
25:50
토크나이저의 역할과 SSM의 범용성
Transformer는 의미 단위로 잘린 토큰(Subword) 데이터에서 가장 잘 작동하며, 원시 바이트(Raw bytes)나 DNA 시퀀스처럼 토크나이저가 불분명한 데이터에서는 효율이 급격히 떨어진다. 반면 SSM은 데이터의 해상도나 의미 구조에 덜 민감하여 바이트 레벨 모델링이나 게놈 데이터 분석에서 Transformer보다 3배 이상의 효율성을 보여준다. 이는 SSM이 데이터 내부의 계층적 구조를 스스로 학습하는 능력이 뛰어남을 시사한다.
40:05
H-Net: 토크나이저 없는 계층적 시퀀스 모델링
발표자의 연구팀이 개발한 H-Net은 명시적인 토크나이저 없이 원시 데이터에서 동적으로 청크(Chunk)를 생성하여 학습한다. 이 모델은 하단부에서 SSM 인코더를 사용해 데이터를 압축하고 상단부에서 Transformer로 고차원 의미를 처리하는 계층 구조를 가진다. 실험 결과 BPE 토크나이저를 사용한 기존 방식보다 더 나은 스케일링 법칙을 보여주며 인위적인 전처리 없이도 지능적인 모델링이 가능함을 증명했다.
51:00
결론: 압축은 버그가 아니라 지능의 핵심 기능이다
과거에는 SSM의 정보 압축을 정보 손실이라는 단점으로 보았으나, 연구 결과 압축은 오히려 지능적인 추상화를 형성하는 핵심 기제임이 밝혀졌다. Transformer는 고정된 토큰 구조에 종속적이지만, SSM은 데이터로부터 스스로 의미 있는 단위를 찾아내는 유연성을 가진다. 미래의 모델은 정확한 검색을 위한 Attention과 효율적인 추상화를 위한 SSM이 결합된 하이브리드 형태가 될 것이다.
63:00
부록: MongoDB를 활용한 Vision RAG 시스템
강연 후반부에는 MongoDB 관계자가 등장하여 멀티모달 RAG 시스템 구축 사례를 공유한다. 기존의 텍스트 중심 RAG와 달리 이미지와 텍스트를 통합 임베딩 공간에서 처리하는 Vision RAG의 중요성을 설명한다. MongoDB Atlas의 벡터 검색 기능을 활용하면 보험 청구 사진 분석과 같은 복잡한 비정형 데이터 처리 파이프라인을 단일 플랫폼에서 효율적으로 운영할 수 있음을 강조한다.
실무 Takeaway
- Transformer의 KV 캐시 문제를 해결하기 위해 고정된 상태 크기를 가진 SSM을 도입하면 시퀀스 길이에 관계없이 일정한 추론 속도를 확보할 수 있다
- Mamba와 같은 현대적 SSM은 입력값에 따라 매개변수를 변화시키는 '선택성(Selectivity)'을 통해 기존 RNN의 표현력 한계를 극복했다
- 토크나이저를 정의하기 어려운 DNA나 원시 바이트 데이터 모델링에서는 SSM이 Transformer보다 연산 대비 성능(Scaling) 면에서 압도적으로 유리하다
- 지능적인 모델링을 위해서는 모든 데이터를 저장하는 것보다 데이터를 유의미한 단위로 압축하고 추상화하는 능력이 필수적이며 SSM이 이 역할에 적합하다
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 28.수집 2026. 04. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.