파인튜닝된 대형 언어모델에서 암기된 지식이 일반화에 실패하는 기제적 원인 규명

파인튜닝은 모델 내부의 파라메트릭 기억을 직접 갱신해 새 정보를 넣는 표준 방식이지만, 이 연구는 암기된 정보가 실제 추론에 활용되지 못할 수 있음을 경험적으로 확인했다. 암기가 곧바로 응용으로 이어지지 않는 구조적 병목을 밝혀 비용과 안전성 측면의 지식 업데이트 설계에 직접적인 시사점을 제공한다. 이러한 통찰은 모델 업데이트 전략이 단순한 기억 능력 개선을 넘어 계산 경로 정렬을 고려해야 함을 의미한다.

문제 출발점은 파인튜닝 중 모델 내부 표현의 저장 위치와 추론에 실제로 사용되는 계산 경로가 반드시 일치하지 않는다는 점이다. LLM은 새로운 사실을 빠르게 암기해 출력 기반의 재현(예: 단일 홉 완성)에서는 높은 정확도를 보이지만, 동일한 정보가 다중홉 추론의 계산 흐름에 전달되지 않으면 최종 답을 만들지 못한다. 이 차이는 학습 곡선 상에서 암기 성능이 포화되는 시점과 일반화가 나타나는 시점 사이의 시간 지연과 최종 정확도 격차로 구체화된다. 자세한 해결 원리는 내부 표현의 계층적 위치를 직접 조작해 보는 것이다. self-patching은 소스 실행의 특정 계층에서 앵커 토큰의 은닉 상태를 추출해 대상 실행의 특정 계층에 삽입하고, 그 결과 출력 정확도의 변화를 ΔI로 측정한다. 이 방식은 표현이 '어디에 저장되어 있는지'뿐 아니라 '어떤 계층으로 라우팅될 때 계산적으로 유효해지는지'를 인과적으로 판단하게 한다. 퍼미에이션 맵에서 소스·타깃 계층 쌍이 빨간색으로 나타나면 해당 소스 계층의 표현을 그 타깃 계층으로 옮길 때 정답 확률이 즉시 상승한다. 이 접근이 달라지게 하는 핵심은 학습의 본질적 제약을 재해석한다는 점이다. 기존에는 암기 실패나 파라미터 용량 부족으로 일반화를 설명하는 경향이 있었으나 이 연구는 암기된 정보가 모델 내에 존재함에도 불구하고 잘못된 위치에 '갇혀' 있어 계산 경로와 정렬되지 않는 것이 본질적 병목임을 보여준다. 따라서 해결책은 단순히 더 많은 기억 능력을 제공하는 것이 아니라 저장된 표현을 추론 회로와 정렬시키는 방향으로 나아가야 한다.

전체 접근은 실험적 진단과 인과적 개입을 결합해 지식의 저장 위치와 계산 경로 정렬을 추적하는 것이다. 먼저 STaRK-Prime(생물의학)과 STaRK-MAG(학술)에서 파생한 원천 지식집을 사용해 '암기'용 단일홉 QA와 '일반화'용 다중홉 QA를 구성했다. 암기 태스크는 (head, relation) → tail를 직접 예측하도록 하고, 체이닝과 인터섹션이라는 두 종류의 일반화 태스크를 통해 다중홉 추론에서의 지식 활용 능력을 평가했다. 핵심 알고리즘은 self-patching 스캔으로, 수식적으로는 다음과 같이 측정한다. 모델 매개변수 θ_t에서 암기 정확도 Amem(t)과 일반화 정확도 Agen(t;T)를 계산한다. 학습 종료 시점 Tmax에서 ΔA(Τ)=Amem(Tmax)−Agen(Tmax)을 계산하면 정확도 격차가 나온다. 예를 들어 Amem(Tmax)=0.99이고 Agen(Tmax)=0.12이면 ΔA=0.87로 계산되어 암기와 사용 사이 큰 격차가 수치로 드러난다. 포화 시점은 연속 w 에폭 동안 성능이 안정화되는 최초 시점으로 정의하고, 이로부터 시간 지연 ΔT를 산출한다. self-patching 절차는 소스 프롬프트 Ps와 타깃 프롬프트 Pt, 앵커 토큰 스팬 T(P,E)를 정하고 모든 계층쌍 (l_s,l_t)을 순회한다. 각 쌍에 대해 z = h^{l_s}{T_s}(P_s)를 캐시하고 타깃 실행에 \tilde{h}^{l_t}{T_t} ← z를 적용한 뒤 출력을 얻어 ΔI를 기록한다. ΔI는 Exact Match 또는 MRR 같은 지표로 측정하며 모든 쌍을 맵화해 어느 소스 계층의 표현이 어느 타깃 계층에서 계산적으로 활성화되는지를 판별한다. 추가적으로 맥락 간(메모리제이션→제너럴라이제이션) 패칭을 수행해 표현 전이가 맥락 의존적 노이즈가 아님을 검증했다.

주요 결과는 세 가지 축에서 요약된다. 첫째, 암기 성능은 거의 모든 실험 조건에서 포화에 빠르게 도달해 Amem≈0.99 수준을 보였으나 일반화 성능은 태스크와 스케일에 따라 크게 달랐다. 예컨대 체이닝 태스크에서는 fine-tuning 종료 시 일반화 정확도가 낮게 남아 Table 4의 Qwen-2.5-1.5B 기준으로 암기 0.998 대비 체이닝 무패치 0.078을 관찰했다. 둘째, self-patching으로 오라클 패칭을 적용하면 체이닝 정확도가 평균 1.5–6× 상승했고, 인터섹션의 작은 격차는 거의 제거되었다. 셋째, 패치 위치 분포는 일관된 두 개의 클러스터를 보였고 이를 활용한 고정 휴리스틱(대략 0.1L→0.5L와 0.8L→0.5L)은 per-instance 탐색 없이도 오라클 회복 여유의 58–75%를 회수했다. 구체적 예로 Qwen-2.5-1.5B의 경우 체이닝 무패치 0.078에서 고정 휴리스틱 0.349, 오라클 0.440으로 향상되어 실용적 보정 가능성을 입증했다. 추가적으로 LoRA와 FFT 비교에서 FFT는 암기 포화가 더 빠르게 도달했지만 일반화의 시간 지연 ΔT와 최종 Agen은 항상 더 유리하지는 않았다(예: LoRA T_mem 체이닝 10.4±2.8 vs FFT 2.4±1.5).

전체 아키텍처 관점에서 실험은 다양한 크기와 아키텍처의 Transformer 기반 LLM을 대상으로 수행되었고, STaRK-Prime과 STaRK-MAG의 원천 지식을 파인튜닝 데이터로 사용했다. 실험에는 Qwen-2.5-{1.5B,3B,7B}와 LLaMA-3.2-1B/3B 및 LLaMA-3.1-8B 계열이 포함되어 모델 스케일·데이터 스케일·미세조정 방식(FFT vs LoRA) 차이를 비교했다. 모든 실험은 memorization과 generalization을 엄격히 분리한 쌍으로 구성되어 사전학습 누수 가능성을 배제했다. 핵심 메커니즘의 수학적 기반은 계층 간 은닉 상태 이동이 출력 확률에 미치는 인과적 영향을 ΔI로 측정하는 점에 있다. ΔI는 I(\tilde{M}(P_t), y*) − I(M(P_t), y*)로 정의되며 I는 Exact Match나 MRR 같은 출력 정답 지표이다. 계산 흐름은 입력 프롬프트→은닉 상태 추출 z→대상 계층에 삽입→나머지 순전파→지표 비교의 순서로 이루어진다. 예시로 소스 계층에서 추출한 z를 중간 계층에 넣었을 때 Exact Match가 0→1로 바뀌면 ΔI=1로 기록된다. Prior work 대비 기술적 차별점은 진단의 범위와 실패 사례 적용 가능성이다. 기존 activation patching이나 causal tracing은 정상 동작 경로가 필요하거나 보조 디코딩 프롬프트로 해석을 도왔으나 본 연구의 self-patching은 실패한 일반화 사례에도 적용되어 저장된 표현이 존재하는지를 직접 판별했다. 구현 세부에서는 각 체크포인트(epoch)마다 계층쌍 전체를 스캔해 시간-공간 퍼미에이션 맵을 만들고, 통계적 유의성을 위해 1,000 샘플 평균과 95% Wilson 신뢰구간을 사용했다.

논문은 self-patching이 진단 및 오라클 보정 도구로 유효함을 보였으나 이 방식 자체가 실시간 서비스의 경량화된 해결책으로 곧바로 사용될 수 있는 것은 아니다. 고정 휴리스틱은 많은 사례에서 효과를 보였지만 인스턴스별 저장 위치 변동성을 완전하게 제거하지 못해 오라클 회복률의 일부만 회수한다는 한계가 남는다. 또한 실험은 특정 도메인(STaRK-Prime, STaRK-MAG)과 특정 모델군에 집중되어 있어 다른 도메인·아키텍처로 일반화할 때 추가 검증이 필요하다.