representation-space

표현 공간은 입력 토큰과 중간 상태를 수치 벡터로 매핑하는 차원과 구조를 가리키며, 차원 수와 표현 방식이 모델의 용량과 일반화 능력을 결정한다. 순차적 그래디언트 업데이트에서 표현 공간이 충분하지 않으면 서로 다른 시점의 정보가 충돌하거나 소실될 수 있다. 따라서 표현 공간의 크기와 구조는 토큰별 최적화와 전체 상태 보존의 균형을 맞추는 주요 설계 요소이다.