고정된 Pythia-70M 모델에서 순전파 유도 고속 메모리를 이용한 문맥적 원샷 리콜 실험

작성자의 독창적인 실험 접근 방식에 대해 긍정적인 반응이 있으며, 특히 메커니즘적 해석 가능성(Mechanistic Interpretability) 측면에서 흥미롭다는 평가가 주를 이룬다.

• RAG나 인컨텍스트 학습에서 정확도가 떨어질 때, 모델의 출력 임베딩과 은닉 상태 간의 차이를 분석하여 보정 벡터를 주입하는 방식을 고려해 볼 수 있다.

Fast Memory

— 모델의 가중치를 직접 업데이트하는 대신, 활성화 값(activation)이나 별도의 외부 저장소를 사용하여 정보를 일시적으로 저장하고 검색하는 기법이다. 본문에서는 순전파 과정에서 유도된 보정 벡터를 저장하여 일시적인 학습 효과를 내는 용도로 사용되었다.

One-shot Binding

— 단 한 번의 예시만으로 특정 기호나 단어에 새로운 의미나 속성을 연결하는 능력이다. 예를 들어 'A 게임에서 blicket은 빨간색이다'라는 정보를 즉시 습득하여 이후 질의에 활용하는 메커니즘을 의미한다.

Forward-derived Correction

— 역전파(Backpropagation)를 통한 가중치 업데이트 없이, 순전파 과정에서 발생한 출력 임베딩의 기하학적 차이를 계산하여 메모리에 저장하는 방식이다. 타겟 토큰과 모델의 예측 확률 분포 간의 차이를 벡터로 저장하여 생성 시점에 더해준다.

Tied Embeddings

— 입력 임베딩 레이어와 출력 선형 레이어의 가중치를 공유하는 아키텍처 설계 방식이다. 이 구조에서는 은닉 상태의 기하학적 위치가 곧 특정 토큰의 확률과 직결되므로, 은닉 상태에 보정 벡터를 더하는 것만으로 출력을 제어하기 용이하다.