다중 스트림 LLM: 병렬 스트림의 생각·입력·출력을 통한 언어 모델의 병목 해소

LLM이 단일 시퀀스 스트림에서 읽기/생성/생각을 순차적으로 수행하는 제약을 제거하면, 입력 도착에 맞춰 실시간으로 반응하고, 생각/판단을 중단 없이 병렬로 발전시킬 수 있다. 이로써 시간-상당 토큰 구간에서의 대기 시간을 줄이고, 보안 취약점인 프롬프트 인젝션에 대해 구조적 방어를 제공하며, 내부 스트림을 통한 모니터링 가능성을 확보한다. 결과적으로 실시간 교류가 필요한 애플리케이션에서 사용자 경험이 개선되고, 시스템의 안전성 및 가시성이 증가한다.

출발점: 전통적 instruction-tuning 기반의 언어 모델은 하나의 텍스트 스트림으로 입력을 받고 출력하는 순차적 흐름으로 구성되어 있다. 이 구조는 읽기-생성-생각의 교차를 차단하고, 입력 도중에 출력을 시작하거나 정보를 중간에 반영하기 어렵게 만든다. 해결 원리: 역할별로 독립된 스트림을 할당하고, 각 스트림은 과거 토큰에 의해서만 영향을 받도록 cross-stream attention을 구성한다. 이를 통해 한 forward pass에서 입력 스트림, 모델 thinking 스트림, 시스템 스트림 등이 서로를 참조하며 병렬로 토큰을 예측할 수 있다. 달라지는 점: 스트림 간 위치 인덱싱과 스트림별 포지션 인코딩(RoPE) 및 스트림 간 인과 마스크를 활용해 교차 스트림의 연결성을 유지하되 positional conflicts를 피한다. 패킹 전략으로 interleaved packing을 채택해 효율적인 causal traversal을 구현하고, 3단계 데이터 생성(Wait-k 스트림-유사 데이터 생성 → 인과 검증 → 품질 필터링)으로 학습 데이터를 구성한다. 이로써 읽기/생성/생각의 동시성, 보안 강화, 모니터링 가능성의 동시 개선을 달성한다.

From Sequential to Multi-Stream Parallel Generation: pθ(y(1),...,y(H)) = ∏h ∏t pθ(y(t)^(h) | y^(h)<t, {y(<t)^(h′)}h′≠h) 형태의 다스트림 정의를 도입한다. 입력 시퀀스는 각 스트림의 타임스텝에 따라 독립적으로 예측되며, Across-stream causality를 통해 각 시점에서 다른 스트림의 이전 토큰들에 의해서만 참조가 가능하다. Data Construction: Wait-k 스트림-형 데이터 생성, Causal Verification, Quality Filtering의 3단계 파이프라인으로 트레이닝 샘플을 구성한다. Training: stream-aware RoPE를 사용한 per-stream position encoding, 스트림 임베딩 e_sh를 도입하고 cross-stream causal mask M(h,t),(h′,τ) = 1 if τ < t else 0를 적용한다. 인터리브드 패킹으로 토큰 배열을 재배치하고, 일반 cross-entropy 손실 L을 적용한다(L = ∑h 1/|Th| ∑t∈Th −log pθ(y(t)^(h) | x)). 필요시 cross-stream context에 의해 이득을 보는 토큰의 가중치를 조정하는 stream-contrastive 손실도 도입한다(LSC). Inference: 모든 스트림을 동기적으로 디코드하며, 각 스텝에서 각 스트림별 토큰을 출력하되 idle 토큰은 KV 캐시를 생성하지 않는다. 이로써 H× 속도up를 기대하고, 가장 긴 스트림의 길이가 지배적인 지연으로 작용한다.

주요 벤치마크에서 Stream(Ours)은 Qwen-3.1.7B와 Qwen-3.4B에서 TNFT를 0으로 만들고, GSM8K에서 Acc 89.51, Delay 11.29(또는 14.53)로 나타났다. MATH500에서는 Acc 51.60에 TNFT 0, Delay 22.94로 나타났고, LogicNLI에서는 Acc 61.25에 TNFT 0, Delay 38.18, SQuAD에서는 Acc 53.50에 TNFT 0, Delay 4.62로 기록되었다(표 1). Auditing While Solving 설정은 Qwen-3.7B에서 Acc를 65.65로 향상시키고, TNFT를 0으로 유지하며 Del ay와 MSL을 개선하는 효과를 보였다(비교 표 2). 모니터링 관점에서, Stream 모델은 AF eval-aware 및 AF subvoc, Mon. acc., Concern subvoc 지표에서 Base 대비 큰 향상을 보이며, 8B/27B 규모에서 모니터링 신뢰도와 의도 가시성을 크게 높인다(Table 4). Throughput 실험은 1.63×의 속도향상을 보여주며, Auditing While Solving이 전체 엔드투엔드 처리량을 개선하는 데 기여한다(Figure 10). Ablation 연구에서 2D RoPE/Offset/Rotate/NoPE 등 포지션 인코딩 기법의 비교 결과, 본 제안의 포지션 인코딩 설계가 가장 안정적이다(Table 7).

전체 아키텍처: 입력 스트림(Input Streams)과 출력 스트림(Output Streams)으로 역할을 분리하고, 모델 Thinking(Stream) 간의 교차 의존성을 유지한다. 핵심 메커니즘: stream-aware RoPE로 각 스트림의 포지션 인덱스를 독립적으로 관리하고, cross-stream causal mask를 통해 타임스텝 간 정보를 허용하는 범위를 제어한다. Prior work 대비 차별점: 단일 스트림이 아닌 고정된 수의 스트림으로 구성하고, 각 스트림 간 깊은 융합 없이도 상호 참조하도록 설계한다. 구현 및 학습 세부사항: 인터리브드 패킹으로 토큰 배열을 재정렬해 FlashAttention 스타일의 처리 경로를 활용하고, L = ∑h ∑t −log pθ(y(t)^(h) | x)와 같은 표준 교차 엔트로피를 근간으로 학습한다. 필요 시 stream-contrastive 손실 LS C를 도입해 cross-stream context의 효과가 큰 토큰에 가중치를 부여한다.