Parallel Track Transformers: 동기화 오버헤드를 줄여 GPU 추론 속도를 높이는 새로운 아키텍처

섹션별 상세

기존 텐서 병렬화(Tensor Parallelism)는 행렬 연산을 여러 장치로 분산하지만, 잦은 GPU 간 동기화로 인해 통신 병목 현상이 발생하고 확장성이 저하되는 한계가 있다.

Parallel Track(PT) Transformer는 계산 과정을 재구조화하여 장치 간 의존성을 줄이는 새로운 아키텍처 패러다임을 제시하며, 이를 통해 동기화 횟수를 기존 방식 대비 최대 16배까지 감축한다.

제안된 아키텍처는 TensorRT-LLM 및 vLLM과 같은 주요 LLM 서빙 스택에 통합되어 실질적인 성능 향상을 입증했으며, 첫 토큰 생성 시간(TTFT)을 15-30% 단축하는 성과를 거두었다.

출력 토큰당 생성 시간(TPOT)은 2-12% 감소했으며, 전체적인 추론 처리량(Throughput)은 두 서빙 환경 모두에서 최대 31.90%까지 증가하는 효율성을 보여주었다.

성능 최적화 과정에서도 모델의 예측 품질을 희생하지 않고 기존 Transformer 모델과 대등한 수준의 정확도를 유지함을 실험을 통해 확인했다.

텐서 병렬화(Tensor Parallelism): — 대규모 모델의 행렬 연산을 여러 GPU에 분할하여 병렬로 처리하는 기법이다. 모델 크기가 단일 GPU 메모리를 초과할 때 필수적이지만, 연산 중간마다 장치 간 데이터를 동기화해야 하므로 통신 병목이 발생하기 쉽다.
동기화 오버헤드(Synchronization Overhead): — 분산 컴퓨팅 환경에서 여러 GPU가 서로의 계산 결과를 기다리거나 데이터를 주고받는 과정에서 낭비되는 시간이다. 동기화 횟수가 많아질수록 실제 연산 효율이 떨어지고 시스템의 전체적인 지연 시간이 늘어난다.
첫 토큰 생성 시간(Time to First Token): — 사용자의 입력이 시스템에 전달된 후 첫 번째 결과 토큰이 출력될 때까지 걸리는 지연 시간(TTFT)이다. 실시간 대화형 AI 서비스에서 사용자가 체감하는 반응 속도를 결정하는 핵심 지표이다.
처리량(Throughput): — 시스템이 단위 시간당 처리할 수 있는 데이터나 요청의 총량이다. LLM 서빙에서는 주로 초당 생성되는 토큰 수(tokens/sec)로 측정하며, 시스템의 경제성과 확장성을 평가하는 중요한 척도이다.