wan-latency

WAN 환경에서 토큰 단위 왕복 시간이 전체 처리량의 병목이 되므로, 비동기 파이프라이닝과 추정 디코딩으로 이를 완화하는 것이 핵심이다.