본문으로 건너뛰기

rope

회전 위치 임베딩

중급

회전 행렬을 사용하여 토큰의 상대적 위치 정보를 주입하는 기법으로 현재 대부분의 LLM에서 표준으로 사용된다.