모델 내부 상태
모델 내부 상태는 Transformer 계열 모델의 각 레이어와 토큰 위치에서 계산되는 숨겨진 벡터들로서 입력 토큰이 처리되는 중간 표현을 의미한다. 이 상태는 다음 토큰 확률 계산과 장기 문맥 보존에 직접 영향을 주며, 해석 가능성 연구에서는 이 상태를 사람이 읽을 수 있는 기호나 언어로 매핑하려는 시도가 핵심 과제이다. BABEL codec 맥락에서는 이 내부 상태를 영어 표현으로 읽어내고 다시 상태로 쓰는 쌍방향 변환 대상으로 사용한다.
