heads

heads는 멀티헤드 어텐션에서 병렬로 동작하는 어텐션 하위공간의 수를 가리킨다. 각 헤드는 입력을 서로 다른 선형 투영으로 분리해 독립적으로 어텐션 가중치를 계산하고 최종적으로 결합한다. 본 실험에서는 4 heads로 설정되어 병렬 어텐션이 4개의 하위공간에서 수행되었음이 확인됐다.