본문으로 건너뛰기

induction-heads

인덕션 헤드

트랜스포머 모델에서 이전에 등장한 토큰 패턴을 인식하고 다음에 올 토큰을 예측하는 데 특화된 어텐션 헤드이다. 문맥 내 학습(In-context learning)의 핵심 메커니즘으로 알려져 있다.