Hidden-State Dynamics

Transformer 내부 표현이 층을 통과하고 토큰이 순차 생성되는 동안 어떻게 변하는지 다루는 개념입니다. 이 글에서는 층 깊이에 따른 변화와 생성 시간에 따른 변화를 분리해 표현의 진행 구조와 조건성을 살피는 분석 단위로 사용합니다.