straggler-problem
Straggler 문제
분산 학습에서 특정 GPU의 계산이 늦어 나머지 GPU가 동기화 지점에서 대기하는 병목입니다. 멀티모달 학습에서는 GPU마다 이미지 토큰 수가 달라 Vision Encoder 계산 시간이 달라지고, 마지막 Barrier가 가장 느린 장치에 맞춰지면서 대기 시간이 커집니다.
Straggler 문제
분산 학습에서 특정 GPU의 계산이 늦어 나머지 GPU가 동기화 지점에서 대기하는 병목입니다. 멀티모달 학습에서는 GPU마다 이미지 토큰 수가 달라 Vision Encoder 계산 시간이 달라지고, 마지막 Barrier가 가장 느린 장치에 맞춰지면서 대기 시간이 커집니다.
