본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

WAN 지연 (wan-latency) 용어 설명 | AI Trends

wan-latency

WAN 지연

중급

WAN 환경에서 토큰 단위 왕복 시간이 전체 처리량의 병목이 되므로, 비동기 파이프라이닝과 추정 디코딩으로 이를 완화하는 것이 핵심이다.

비슷한 개념

asynchronous-pipeline-optimization parallel-decoding decode-length decode serialization-bottleneck autoregressive-decode latency-gap token-latency

← 용어 사전 전체 보기