용어 해설
- 컨텍스트 병렬화(Context-Parallel)
- — 컨텍스트 병렬화는 긴 시퀀스 생성에서 시퀀스 전체를 여러 GPU 순위(ranks)로 분할하여 각 순위가 병렬로 denoising 또는 생성 작업을 수행하고 필요할 때 all-to-all/gather 통신으로 결과를 취합하는 방식이다. 이 방식은 생성 연산을 병렬화해 고해상도 비디오처럼 길고 연산량이 큰 시퀀스의 처리율을 높이는 데 사용된다. 논문에서는 고해상도 비디오 잠재벡터의 denoising을 performer 그룹 내에서 컨텍스트 병렬화로 분산해 모델 측 응답 지연을 유지했다.
- 사전 샤딩된 K/V 캐시(Pre-sharded K/V cache)
- — 사전 샤딩된 K/V 캐시는 각 performer 순위가 전체 히스토리의 일부 K/V 값을 로컬에 보관하도록 미리 분할된 캐시 구조이다. thinker가 브로드캐스트한 performer-호환 K/V 슬라이스를 각 순위가 자신의 로컬 샤드에 기록하면 이후 생성 단계에서 로컬 액세스만으로 K/V 조건화를 수행할 수 있어 대역폭과 동기화 오버헤드를 낮춘다. 논문에서는 이 구조로 thinker-performer 경계를 컴팩트하게 유지하면서 시퀀스 병렬화를 수행했다.
- 시퀀스 샤딩(Sequence Sharding)
- — 시퀀스 샤딩은 긴 생성 시퀀스를 시간 축 또는 토큰 축으로 분할하여 서로 다른 GPU 순위에 할당하고, 각 순위가 할당된 구간을 병렬로 처리하는 기법이다. 이 방식은 시퀀스 길이가 길어질 때 연산을 병렬화해 처리 시간을 줄이는 데 효과적이며, 논문에서는 고해상도 비디오 잠재 시퀀스에 대해 시퀀스 샤딩을 적용해 denoising을 분산했다. 오디오 잠재 시퀀스는 토큰 수가 짧아 샤딩 오버헤드가 발생하므로 샤딩을 적용하지 않았다.
- 생성 캐시(Generation Cache)
- — 생성 캐시는 thinker의 언어·상태 계산 결과를 K/V 형태로 보관한 구조로, 이후 performer가 이 K/V를 조건화 정보로 사용해 다음 단위의 잠재 생성을 수행하게 한다. 이 캐시는 생성 시 언어·상태 연산을 중복하지 않도록 하여 지연 민감 경로를 짧게 유지하는 역할을 한다. 논문에서는 thinker가 생성 캐시를 구축해 performer로 브로드캐스트된 K/V 슬라이스만 전달하도록 설계했다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 05.수집 2026. 07. 08.출처 타입 PAPER
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
