파인튜닝된 대형 언어모델에서 암기된 지식이 일반화에 실패하는 기제적 원인 규명

왜 중요한가

파인튜닝은 모델 내부의 파라메트릭 기억을 직접 갱신해 새 정보를 넣는 표준 방식이지만, 이 연구는 암기된 정보가 실제 추론에 활용되지 못할 수 있음을 경험적으로 확인했다. 암기가 곧바로 응용으로 이어지지 않는 구조적 병목을 밝혀 비용과 안전성 측면의 지식 업데이트 설계에 직접적인 시사점을 제공한다. 이러한 통찰은 모델 업데이트 전략이 단순한 기억 능력 개선을 넘어 계산 경로 정렬을 고려해야 함을 의미한다.

핵심 기여

Knowing–Using Gap의 정의와 정량화

논문은 암기 성능 Amem(t)과 일반화 성능 Agen(t;T)를 시간에 따라 추적해 학습 종료 시점의 정확도 격차 ΔA = Amem(Tmax) − Agen(Tmax)과 포화 시점 차이 ΔT으로 Knowing–Using Gap을 체계적으로 정의했다. 이 정의를 통해 암기가 포화된 이후에도 일반화가 크게 지연되거나 낮은 성능에 머무르는 현상을 정량적으로 측정할 수 있었다. 결과는 다양한 모델·태스크·스케일에서 재현되어 현상이 보편적임이 확인되었다.

Self-patching이라는 인과적 개입 기법의 도입

연구는 한 실행의 앵커 토큰 은닉 상태를 다른 실행의 특정 계층·위치에 복사해 넣고 출력 정답 지표의 변화 ΔI를 측정하는 self-patching 절차를 제시했다. 이 절차는 모든 계층쌍 (l_s, l_t)을 스캔하여 어떤 소스 계층의 표현이 어느 타깃 계층에서 계산적으로 유용해지는지를 계층별 맵으로 산출했다. self-patching은 기존의 causal tracing과 PatchScope와 달리 실패한 일반화 사례에도 적용 가능하며 실제로 인과적 복구 가능성을 정량화할 수 있었다.

지식-회로 정렬 불일치 가설에 대한 인과적 근거 제공

실험 결과는 암기된 표현이 조기 또는 후기 계층에 저장되지만 중간 계층의 계산 경로로 라우팅되지 않아 다중홉 추론에서 실패한다는 knowledge–circuit misalignment를 지지했다. self-patching으로 저장된 표현을 중간 타깃 계층에 옮기면 즉시 일반화 성능이 크게 향상되어 저장 없음이 원인이 아니라 경로 정렬 문제임이 확인되었다. 이 인과적 증거는 파라미터 용량 부족이 아니라 표현의 위치와 연산 경로의 정렬 실패가 병목임을 시사한다.

실용적 고정 휴리스틱으로 오라클 여유의 58–75% 회복

실험에서 효과적인 패치 위치들이 '초기→중간'과 '후기→중간'의 두 클러스터로 집중되는 패턴을 관찰했고, 이를 이용해 모델별로 두 개의 고정 계층쌍(약 0.1L→0.5L, 0.8L→0.5L)을 적용하는 간단한 휴리스틱을 설계했다. 이 고정 휴리스틱은 per-instance 탐색 없이도 오라클 패칭이 제공하는 회복 여유의 58–75%를 일관되게 회수했다. 고정 전략의 성공은 진단 결과를 실제 보정 정책으로 전환할 가능성을 열었다.

핵심 아이디어 이해하기

문제 출발점은 파인튜닝 중 모델 내부 표현의 저장 위치와 추론에 실제로 사용되는 계산 경로가 반드시 일치하지 않는다는 점이다. LLM은 새로운 사실을 빠르게 암기해 출력 기반의 재현(예: 단일 홉 완성)에서는 높은 정확도를 보이지만, 동일한 정보가 다중홉 추론의 계산 흐름에 전달되지 않으면 최종 답을 만들지 못한다. 이 차이는 학습 곡선 상에서 암기 성능이 포화되는 시점과 일반화가 나타나는 시점 사이의 시간 지연과 최종 정확도 격차로 구체화된다. 자세한 해결 원리는 내부 표현의 계층적 위치를 직접 조작해 보는 것이다. self-patching은 소스 실행의 특정 계층에서 앵커 토큰의 은닉 상태를 추출해 대상 실행의 특정 계층에 삽입하고, 그 결과 출력 정확도의 변화를 ΔI로 측정한다. 이 방식은 표현이 '어디에 저장되어 있는지'뿐 아니라 '어떤 계층으로 라우팅될 때 계산적으로 유효해지는지'를 인과적으로 판단하게 한다. 퍼미에이션 맵에서 소스·타깃 계층 쌍이 빨간색으로 나타나면 해당 소스 계층의 표현을 그 타깃 계층으로 옮길 때 정답 확률이 즉시 상승한다. 이 접근이 달라지게 하는 핵심은 학습의 본질적 제약을 재해석한다는 점이다. 기존에는 암기 실패나 파라미터 용량 부족으로 일반화를 설명하는 경향이 있었으나 이 연구는 암기된 정보가 모델 내에 존재함에도 불구하고 잘못된 위치에 '갇혀' 있어 계산 경로와 정렬되지 않는 것이 본질적 병목임을 보여준다. 따라서 해결책은 단순히 더 많은 기억 능력을 제공하는 것이 아니라 저장된 표현을 추론 회로와 정렬시키는 방향으로 나아가야 한다.

관련 Figure

Diagram
위쪽 패널은 실패한 사례에서 소스-타깃 패치 효과가 대각선으로 확장되지 못하고 멈추는 양상을, 아래 패널은 성공한 사례에서 빨간색 영역이 대각선을 가로질러 확장되는 양상을 각각 관찰 가능하게 한다. 이 비교는 학습 진행에 따른 지식의 '퍼미에이션'이 일반화의 출현과 직접적으로 정렬됨을 시사한다. 그림은 지식이 이미 존재하지만 적절한 계산 위치로 이동하지 못해 발생하는 병목을 직관적으로 보강한다.
체이닝이 실패한 사례와 성공한 사례의 fine-tuning 시간 축에 따른 self-patching 퍼미에이션 맵 변화를 위아래로 배치해 비교한 그림이다.

방법론

전체 접근은 실험적 진단과 인과적 개입을 결합해 지식의 저장 위치와 계산 경로 정렬을 추적하는 것이다. 먼저 STaRK-Prime(생물의학)과 STaRK-MAG(학술)에서 파생한 원천 지식집을 사용해 '암기'용 단일홉 QA와 '일반화'용 다중홉 QA를 구성했다. 암기 태스크는 (head, relation) → tail를 직접 예측하도록 하고, 체이닝과 인터섹션이라는 두 종류의 일반화 태스크를 통해 다중홉 추론에서의 지식 활용 능력을 평가했다. 핵심 알고리즘은 self-patching 스캔으로, 수식적으로는 다음과 같이 측정한다. 모델 매개변수 θ_t에서 암기 정확도 Amem(t)과 일반화 정확도 Agen(t;T)를 계산한다. 학습 종료 시점 Tmax에서 ΔA(Τ)=Amem(Tmax)−Agen(Tmax)을 계산하면 정확도 격차가 나온다. 예를 들어 Amem(Tmax)=0.99이고 Agen(Tmax)=0.12이면 ΔA=0.87로 계산되어 암기와 사용 사이 큰 격차가 수치로 드러난다. 포화 시점은 연속 w 에폭 동안 성능이 안정화되는 최초 시점으로 정의하고, 이로부터 시간 지연 ΔT를 산출한다. self-patching 절차는 소스 프롬프트 Ps와 타깃 프롬프트 Pt, 앵커 토큰 스팬 T(P,E)를 정하고 모든 계층쌍 (l_s,l_t)을 순회한다. 각 쌍에 대해 z = h^{l_s}{T_s}(P_s)를 캐시하고 타깃 실행에 \tilde{h}^{l_t}{T_t} ← z를 적용한 뒤 출력을 얻어 ΔI를 기록한다. ΔI는 Exact Match 또는 MRR 같은 지표로 측정하며 모든 쌍을 맵화해 어느 소스 계층의 표현이 어느 타깃 계층에서 계산적으로 활성화되는지를 판별한다. 추가적으로 맥락 간(메모리제이션→제너럴라이제이션) 패칭을 수행해 표현 전이가 맥락 의존적 노이즈가 아님을 검증했다.

관련 Figure

Diagram
다이어그램은 기존 기법들과의 차이를 공간적으로 배열해 self-patching이 실패한 일반화 사례에도 적용 가능하고 계층 간 이동을 통해 인과적 영향을 직접 측정한다는 점을 강조한다. 이 구조적 비교는 실험적 타당성을 높이는 한편 왜 self-patching이 진단 도구로 적합한지에 대한 직관을 제공한다. 그림은 방법론 섹션의 알고리즘적 서술을 보강하는 역할을 한다.
self-patching, PatchScope, causal tracing의 비교 도식과 self-patching의 적용 예시를 한 그림에 정리한 다이어그램이다.

Chart
산점도는 같은 사실의 표현을 메모리-문맥(메모리제이션)에서 추출해 일반화 문맥으로 패칭한 결과와 self-patching으로 직접 패칭한 결과가 대체로 일관된 효과를 보인다는 점을 확인시킨다. 이 일관성은 패칭 효과가 단순한 프롬프트 아티팩트나 노이즈가 아니라 주입된 지식의 실제 표현 전이임을 지지한다. 따라서 cross-context 패칭 결과는 self-patching의 인과적 해석을 강화한다.
self-patching 결과와 메모리로부터 패칭한 결과의 일관성을 비교하는 산점도로, 두 실험 간 상관이 존재함을 보여준다.

주요 결과

주요 결과는 세 가지 축에서 요약된다. 첫째, 암기 성능은 거의 모든 실험 조건에서 포화에 빠르게 도달해 Amem≈0.99 수준을 보였으나 일반화 성능은 태스크와 스케일에 따라 크게 달랐다. 예컨대 체이닝 태스크에서는 fine-tuning 종료 시 일반화 정확도가 낮게 남아 Table 4의 Qwen-2.5-1.5B 기준으로 암기 0.998 대비 체이닝 무패치 0.078을 관찰했다. 둘째, self-patching으로 오라클 패칭을 적용하면 체이닝 정확도가 평균 1.5–6× 상승했고, 인터섹션의 작은 격차는 거의 제거되었다. 셋째, 패치 위치 분포는 일관된 두 개의 클러스터를 보였고 이를 활용한 고정 휴리스틱(대략 0.1L→0.5L와 0.8L→0.5L)은 per-instance 탐색 없이도 오라클 회복 여유의 58–75%를 회수했다. 구체적 예로 Qwen-2.5-1.5B의 경우 체이닝 무패치 0.078에서 고정 휴리스틱 0.349, 오라클 0.440으로 향상되어 실용적 보정 가능성을 입증했다. 추가적으로 LoRA와 FFT 비교에서 FFT는 암기 포화가 더 빠르게 도달했지만 일반화의 시간 지연 ΔT와 최종 Agen은 항상 더 유리하지는 않았다(예: LoRA T_mem 체이닝 10.4±2.8 vs FFT 2.4±1.5).

관련 Figure

Diagram
이 그림은 학습 에포크에 따른 암기와 체이닝 정확도 곡선을 병렬로 제시해 암기 포화 시점과 일반화 포화 시점 사이의 시간 지연이 존재함을 관찰가능하게 한다. 그림의 열지도는 체크포인트별로 self-patching의 계층쌍 효과를 나타내어 암기 직후 저장된 표현이 특정 계층에 존재하지만 대각선(자연적 계산 경로)으로 퍼지지 않아 일반화가 실패하는 사례를 시각적으로 확인시킨다. 이 결과는 후속 실험에서 패치로 즉시 성능이 회복되는 인과적 근거와 연결된다.
Fine-tuning 과정에서 암기 정확도는 빠르게 포화되는 반면 체이닝 기반 일반화 정확도는 낮게 유지되거나 지연되는 Knowing–Using Gap의 시계열을 도식화한 그림이다.

Chart
그래프는 데이터 스케일이 증가해도 암기 정확도는 거의 유지되지만 체이닝 일반화 정확도는 오히려 감소하거나 불안정해지는 경향을 보여준다. 이는 단순히 저장 능력을 늘리는 것이 일반화로 직결되지 않음을 실험적으로 지지한다. 이 그림은 논문의 핵심 주장인 스토리지 용량과 계산 경로 정렬의 분리 가능성을 뒷받침한다.
주입된 사실 수(훈련 집합 크기)에 따른 암기 정확도와 체이닝 일반화 정확도의 변화 추이를 그래프로 정리한 그림이다.

Chart
모델 파라미터를 1B→8B로 확대해도 암기 정확도는 거의 만점에 가깝게 유지되는 반면 체이닝 정확도는 낮은 수준에 머무르거나 완만히 상승하는 데 그친다. 이 관찰은 모델 규모 확장만으로 Knowing–Using Gap을 해소할 수 없음을 지지한다. 결과 해석은 저장 공간 확충과 추론 경로 정렬은 별개의 문제임을 강조한다.
모델 크기(파라미터 수)에 따른 암기 및 체이닝 일반화 성능을 비교한 그래프로, 모델 확장이 체이닝 일반화를 근본적으로 해결하지 못함을 보여준다.

기술 상세

전체 아키텍처 관점에서 실험은 다양한 크기와 아키텍처의 Transformer 기반 LLM을 대상으로 수행되었고, STaRK-Prime과 STaRK-MAG의 원천 지식을 파인튜닝 데이터로 사용했다. 실험에는 Qwen-2.5-{1.5B,3B,7B}와 LLaMA-3.2-1B/3B 및 LLaMA-3.1-8B 계열이 포함되어 모델 스케일·데이터 스케일·미세조정 방식(FFT vs LoRA) 차이를 비교했다. 모든 실험은 memorization과 generalization을 엄격히 분리한 쌍으로 구성되어 사전학습 누수 가능성을 배제했다. 핵심 메커니즘의 수학적 기반은 계층 간 은닉 상태 이동이 출력 확률에 미치는 인과적 영향을 ΔI로 측정하는 점에 있다. ΔI는 I(\tilde{M}(P_t), y*) − I(M(P_t), y*)로 정의되며 I는 Exact Match나 MRR 같은 출력 정답 지표이다. 계산 흐름은 입력 프롬프트→은닉 상태 추출 z→대상 계층에 삽입→나머지 순전파→지표 비교의 순서로 이루어진다. 예시로 소스 계층에서 추출한 z를 중간 계층에 넣었을 때 Exact Match가 0→1로 바뀌면 ΔI=1로 기록된다. Prior work 대비 기술적 차별점은 진단의 범위와 실패 사례 적용 가능성이다. 기존 activation patching이나 causal tracing은 정상 동작 경로가 필요하거나 보조 디코딩 프롬프트로 해석을 도왔으나 본 연구의 self-patching은 실패한 일반화 사례에도 적용되어 저장된 표현이 존재하는지를 직접 판별했다. 구현 세부에서는 각 체크포인트(epoch)마다 계층쌍 전체를 스캔해 시간-공간 퍼미에이션 맵을 만들고, 통계적 유의성을 위해 1,000 샘플 평균과 95% Wilson 신뢰구간을 사용했다.

관련 Figure

Chart
이 그림은 효과적인 소스-타깃 쌍이 두 개의 소스 클러스터(초기와 후기)와 하나의 중간 타깃 클러스터로 집중되는 패턴을 통계적으로 보여준다. 이 분포는 고정 휴리스틱의 설계 근거가 되었고, 실제로 상기 두 쌍을 고정해도 상당한 회복률이 관찰되었다. 그림은 계층 위치 선택이 임의가 아니라 재현 가능한 구조적 특징임을 지지한다.
가장 효과적인 패칭 위치들의 분포를 계층 비율로 시각화해 소스 계층 클러스터(초기·후기)와 중간 타깃 계층 클러스터를 드러낸 그림이다.

한계점

논문은 self-patching이 진단 및 오라클 보정 도구로 유효함을 보였으나 이 방식 자체가 실시간 서비스의 경량화된 해결책으로 곧바로 사용될 수 있는 것은 아니다. 고정 휴리스틱은 많은 사례에서 효과를 보였지만 인스턴스별 저장 위치 변동성을 완전하게 제거하지 못해 오라클 회복률의 일부만 회수한다는 한계가 남는다. 또한 실험은 특정 도메인(STaRK-Prime, STaRK-MAG)과 특정 모델군에 집중되어 있어 다른 도메인·아키텍처로 일반화할 때 추가 검증이 필요하다.

실무 활용

논문은 self-patching을 진단 도구로 사용해 실제로 일반화 성능을 회복할 수 있는 구조적 근거를 확인했고, 그 관찰을 기반으로 모델별 고정 계층쌍 휴리스틱을 제안해 오라클 대비 58–75%의 회복을 달성했다. 이 휴리스틱은 per-instance 레이어 탐색을 요구하지 않아 운영상 적용 가능성이 상대적으로 높다. 다만 휴리스틱은 인스턴스별 저장 위치 변동성을 완전히 제거하지 못해 일부 경우 오라클 대비 차이가 남는다.

사후 파인튜닝 후 특정 도메인 지식이 다중홉 질의에서 활용되지 않을 때 우선 고정 계층 패칭을 적용해 회복 여지를 탐색하는 시나리오
지식 편집·업데이트 파이프라인에서 암기 성능만 평가하던 기존 절차에 self-patching 기반 진단을 추가해 활용 가능성까지 평가하는 워크플로
모델 배포 전 안전성 점검 단계에서 핵심 사실이 추론 경로로 라우팅되는지 확인하고, 필요시 계층 정렬 보정 절차를 도입하는 운영 사례

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)self-patching(계층 간 활성화 패칭)knowledge-circuit-misalignment(지식-회로 정렬 불일치)memorization-generalization-gap(암기-일반화 격차)activation-patching(액티베이션 패칭)

용어 해설

암기-활용 격차(Knowing–Using Gap): — 파인튜닝 과정에서 모델이 새로운 사실을 빠르게 암기하지만 그 정보를 다중홉 추론 등 다운스트림 연산에서 즉시 활용하지 못하는 현상으로, 정확도 차이와 일반화 등장 시점의 지연으로 정량화된다.
셀프 패칭(Self-Patching): — 한 실행(run)의 특정 토큰 위치에서 얻은 은닉 상태를 다른 실행의 특정 계층·위치에 복사하여 삽입하고 출력 변화 ΔI로 인과적 영향을 측정하는 개입 기법으로, 지식의 저장 위치와 계산 경로 정렬 여부를 진단하는 데 사용된다.
지식-회로 정렬 불일치(Knowledge–Circuit Misalignment): — 파인튜닝으로 저장된 표현이 존재하지만 추론에 필수적인 중간 계층의 계산 경로로 라우팅되지 않아 일반화가 실패하는 상태를 가리키며, 이 상태는 계층 간 패칭으로 역전될 수 있다.
액티베이션 패칭(Activation Patching): — 한 맥락에서 얻은 내부 활성화(activation)를 다른 맥락의 동일 위치에 삽입해 모델 동작 변화를 관찰하는 실험 기법으로, 표현이 출력에 미치는 인과적 영향력을 측정하는 데 사용된다.

코드 예제

text

Algorithm 1: Self-patching scan
Input: model M, prompts Ps, Pt, anchor E, answer y*, score I.
For each layer pair (ls, lt):
  Locate anchor tokens Ts = T(Ps, E) and Tt = T(Pt, E).
  Cache source state z = h^{ls}_{Ts}(Ps).
  Run Pt and replace \tilde{h}^{lt}_{Tt} \leftarrow z.
  Continue the forward pass to obtain \tilde{M}(Pt).
  Record \Delta I = I(\tilde{M}(Pt), y*) - I(M(Pt), y*).
Output: layer-pair map A[ls, lt] = \Delta I.

이 코드는 self-patching 스캔 절차를 절차형으로 정리한 의사코드로, 소스 계층의 앵커 토큰 상태를 캐시해 타깃 계층의 동일 위치에 덮어쓰고 출력 정답 지표의 변화 ΔI를 기록하는 흐름을 보여준다.

파인튜닝된 대형 언어모델에서 암기된 지식이 일반화에 실패하는 기제적 원인 규명

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드