ffn-as-key-value-memory
키-값 메모리로서의 피드포워드 네트워크
트랜스포머의 FFN 레이어가 특정 패턴(Key)을 인식하고 그에 대응하는 정보(Value)를 출력하는 기억 장치 역할을 한다는 개념입니다. 모델이 학습한 지식이 가중치 내에 어떻게 저장되는지 이해하는 핵심 메커니즘입니다.
중급
키-값 메모리로서의 피드포워드 네트워크
트랜스포머의 FFN 레이어가 특정 패턴(Key)을 인식하고 그에 대응하는 정보(Value)를 출력하는 기억 장치 역할을 한다는 개념입니다. 모델이 학습한 지식이 가중치 내에 어떻게 저장되는지 이해하는 핵심 메커니즘입니다.