disaggregation-prefill-decode
입력 처리와 디코딩 분리(디스애그리게이션)
입력 토큰(prefill)을 처리해 KV 캐시를 만든 뒤 별도의 GPU 풀에서 디코딩을 수행하는 아키텍처 분리 방식이다. 입력 처리와 생성 워크로드를 분리하면 각 파이프라인을 하드웨어·구성에 맞춰 최적화할 수 있어 처리량과 안정성이 개선된다. 대형 문맥이나 캐시 재사용이 높은 시나리오에서 특히 유리하다.
입력 처리와 디코딩 분리(디스애그리게이션)
입력 토큰(prefill)을 처리해 KV 캐시를 만든 뒤 별도의 GPU 풀에서 디코딩을 수행하는 아키텍처 분리 방식이다. 입력 처리와 생성 워크로드를 분리하면 각 파이프라인을 하드웨어·구성에 맞춰 최적화할 수 있어 처리량과 안정성이 개선된다. 대형 문맥이나 캐시 재사용이 높은 시나리오에서 특히 유리하다.
