본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
WAN 지연 (wan-latency) 용어 설명 | AI Trends
wan-latency
WAN 지연
중급
WAN 환경에서 토큰 단위 왕복 시간이 전체 처리량의 병목이 되므로, 비동기 파이프라이닝과 추정 디코딩으로 이를 완화하는 것이 핵심이다.
비슷한 개념
asynchronous-pipeline-optimization
parallel-decoding
decode-length
decode
serialization-bottleneck
autoregressive-decode
latency-gap
token-latency
← 용어 사전 전체 보기