Fast Weight
패스트 웨이트
모델이 입력 처리 도중 일시적인 가중치 변화를 직접 쓰고 읽는 방식으로, 외부 메모리 슬롯을 하이퍼네트워크로 확장해 로우랭크 MLP 계층을 생성하여 토큰 흐름에 가중치로 적용하는 구조가 핵심이다. 이 방식은 전형적 attention 기반 컨텍스트 주입과 달리 읽기·쓰기 모두 순전파(forward)만으로 이루어지므로 추론 중 지속학습이 역전파 없이 가능하다. 작은 은닉층과 슬롯 수로 빠른 업데이트를 가능하게 하며, 슬롯 간 중첩(superposition)과 대체 정책이 설계·학습 분포에 의해 결정된다.
