본문으로 건너뛰기

register-token

레지스터 토큰

추가로 학습되는 특수 토큰으로 패치 토큰과 함께 트랜스포머 입력에 결합된다. 이 토큰은 손실에 직접 참여하지 않아 높은 노름 값을 흡수하거나 전역 정보를 집약하는 용도로 사용된다. 본문에서는 DiT에서 특이값 처리를 위한 슬롯으로 동작하며 패치 표현의 노이즈를 줄이는 역할을 수행한다.