Ragged Input
Ragged Input
서로 다른 길이의 입력을 패딩으로 같은 길이에 맞추지 않고 묶어 처리하는 방식이다. Embedding 모델의 attention 계산에서 불필요한 패딩 연산을 없애고 입력 토큰 수에 맞춰 자원을 쓸 수 있다.
Ragged Input
서로 다른 길이의 입력을 패딩으로 같은 길이에 맞추지 않고 묶어 처리하는 방식이다. Embedding 모델의 attention 계산에서 불필요한 패딩 연산을 없애고 입력 토큰 수에 맞춰 자원을 쓸 수 있다.
