본문으로 건너뛰기

Group-Query Attention

Group-Query Attention

중급

여러 쿼리 헤드를 묶어 처리하는 주의 메커니즘으로, Reverse-QWK와 함께 메모리 및 계산 효율을 높인다.