rasp

RASP는 Transformer 하위층의 원시 연산(프리미티브)과 1대1 대응되는 언어로, 프로그램 구조를 Transformer의 어텐션과 서브레이어 패턴으로 직접 변환할 수 있게 설계되었다. 이 언어는 알고리즘을 Transformer 연산 단위로 분해하여 컴파일 가능한 형태로 표현하고, 컴파일 결과가 모델 가중치로 해석될 수 있도록 매핑 규칙을 제공한다. RASP는 Transformer의 계산 표현력을 이론적으로 분석하거나 Tracr처럼 컴파일러가 가중치를 생성하는 기반으로 사용될 수 있다.