대형 언어모델에서 하이퍼네트워크 기반 지식 주입의 스케일링 법칙

대형 언어모델에 외부 사실을 안전하고 효율적으로 주입하는 문제는 의료·법률 등 민감한 도메인에서 로컬 모델 적응이 필수적이라는 현실적 요구에서 비롯된다. 이 논문은 하이퍼네트워크가 대상 모델 파라미터를 건드리지 않고도 대규모 사실 집합을 압축해 어댑터를 생성하는 방식으로 파라미터 효율성과 OOD 일반화를 동시에 달성할 수 있음을 보였다. 특히 대상 모델 크기를 키울수록 하이퍼네트워크의 OOD 이득이 더 빠르게 증가한다는 정량적 근거를 제공해 대규모 배치에서의 설계 결정을 안내한다.

문제 출발점은 고정된 사전학습 모델에 대규모 사실 집합을 내장시키는 작업에서 발생하는 비용과 망각 문제이다. 전통적 파인튜닝은 전체 파라미터를 갱신해 훈련 분포에 맞춰 모델을 재구성하는 반면, 하이퍼네트워크는 사실 집합을 입력으로 받아 대상 모델에 적용할 LoRA 스타일의 어댑터 가중치를 생성하므로 대상 모델 파라미터는 동결된 채로 지식을 주입할 수 있다. 이 방식은 대상 모델 파라미터 변경으로 인한 카타스트로픽 포게팅을 피하고 입력으로 공급된 사실 집합을 조건화된 표현으로 압축해 적응을 수행하는 점에서 차별화된다. 하이퍼네트워크의 동작 원리는 두 단계로 요약된다. 첫째, 입력된 N개의 사실(문장화된 삼중항)과 질의가 토크나이즈되어 Transformer 기반의 하이퍼넷 인코더에 공급된다. 둘째, 하이퍼넷의 출력은 대상 모델의 특정 레이어에 삽입될 LoRA 어댑터 행렬로 매핑되어 순전파 시 대상 모델의 선형 변환을 저순위 조정으로 변형한다; 이 과정에서 대상 모델의 원래 파라미터 θ는 고정되어 있다. 이 접근법이 유의미한 이유는 학습된 하이퍼넷이 동일한 사실 표현을 다양한 파라미터화로 압축·표현함으로써 관측되지 않은 엔티티나 관계 조합에서도 일반화할 수 있는 능력을 학습한다는 점이다. 실험 결과는 하이퍼네트워크 폭·깊이·주입 사실 수를 늘리는 것보다 대상 모델 크기를 키우는 것이 더 큰 효율을 제공하는 한편, OOD 측면에서는 하이퍼네트워크가 스케일에 따라 더 빠르게 개선되어 분포 외 일반화에서의 구조적 이점이 확장된다는 점을 보여주었다.

전체 접근 방식은 훈련 시점의 지식 내재화(train-time knowledge internalization)를 목표로 하여 하이퍼네트워크만 학습하고 대상 모델 파라미터는 동결하는 설계이다. 각 학습 예시는 질의 q와 주입된 사실 집합 ℱ⊂Ω를 포함하며, ℱ에는 정확히 하나의 관련 사실과 N−1개의 무작위 부정 샘플이 포함되어 하이퍼네트워크가 관련 사실을 식별해 어댑터로 압축하도록 유도한다. 기본 설정은 N=4이며 사실 수 확장 실험에서 N∈{2,4,8,16,32,52}를 사용했고 컨텍스트 토큰 제한 때문에 상한을 52로 설정했다. 하이퍼네트워크 아키텍처는 Transformer 기반 인코더로 구성되며 출력은 LoRA 스타일의 저순위 행렬이다. 하이퍼넷 폭(d_model), 깊이(L_HN), 그리고 생성된 어댑터가 적용될 대상 레이어는 실험에서 고정·변동 축으로 엄격히 분리해 단일 축을 변화시킬 때 다른 변수는 고정했다. LoRA 생성 설정은 실험 전반에서 rank=4, α=8로 통일했고 하이퍼네트워크 파라미터는 사전학습 가중치로 초기화하지 않고 무작위 초기화로 시작했다. 수식적 평가는 파워법칙 피팅을 사용해 수행되었다. 원문 수식 ℒ = a x^{b}를 그대로 사용했고, 여기서 ℒ는 최종 epoch의 검증 손실, x는 스케일링 변수(예: d_model, L_HN, 대상 모델 파라미터 수, 혹은 주입 사실 수)이다. 변수 의미는 ℒ≥0인 손실 값, x는 양의 실수 스케일이며 피팅 절차는 로그-로그 선형 회귀를 통해 least-squares로 수행되었다. 예를 들어 x가 대상 모델 파라미터 수 T일 때 로그 변환 후 회귀로 b를 추정하면 x가 두 배가 될 때 손실은 2^{b}배가 된다는 식으로 해석할 수 있다.

하이퍼네트워크 폭과 깊이, 주입 사실 수 증가 모두에서 검증 손실과 OOD 지표가 파워법칙적으로 감소했다. 하이퍼네트워크 폭 스케일링에서 검증 손실 지수는 −0.096, 깊이 스케일링에서 검증 손실 지수는 −0.088, 주입 사실 수 스케일링에서 검증 손실 지수는 −0.080으로 보고되었고 OOD 재표현(rephrased) 분할은 세 축 모두에서 가장 완만한 개선을 보였다. 이 패턴은 표면적 언어 표현 변화에 대한 강건성을 한 축만으로 확보하기 어렵다는 점을 시사한다. 대상 모델 크기 스케일링이 가장 큰 영향을 미쳤고 하이퍼네트워크 대상 스케일링 지수는 검증 손실 −0.226, OOD non-rephrased −0.184, OOD rephrased −0.107, OOD MCQ −0.171이었다. 동일 실험에서 LoRA 파인튜닝은 검증 손실 지수 −0.250, Full finetuning은 −0.249로 인분포 적합에서 하이퍼네트워크보다 약간 유리했으나 OOD 지표에서는 하이퍼네트워크가 더 가파른 개선을 보였고, 특히 OOD rephrased와 MCQ에서 격차가 컸다. 이 비교의 핵심 해석은 대상 모델 스케일이 증가함에 따라 하이퍼네트워크의 OOD 이득이 상대적으로 더 빠르게 증가한다는 점이다. 논문의 수치적 결과는 하이퍼네트워크가 동일한 목표(훈련 데이터 적합)에서는 약간 덜 공격적으로 학습하지만 분포 외 일반화에서는 더 바람직한 스케일링 특성을 가진다는 결론을 뒷받침한다.

아키텍처 요약은 Transformer 기반의 하이퍼네트워크 g_{φ}가 사실 집합 ℱ와 질의 q를 인코딩해 대상 모델에 삽입할 LoRA 어댑터 행렬을 출력하는 형태이다. 하이퍼네트워크는 무작위 초기화로 시작하고 사전학습된 가중치를 사용하지 않아 아키텍처 용량 효과와 사전학습 효과를 분리해 관찰할 수 있도록 설계되었다. 논문 전반에서 LoRA 생성은 rank=4, α=8로 고정했고 대상 모델에는 Qwen2.5 계열을 사용해 0.5B에서 14B까지 비교를 수행했다. 핵심 메커니즘은 입력 처리와 어댑터 매핑으로 구성된다. 입력 사실은 문장화된 삼중항으로 토큰화되어 하이퍼넷의 입력 시퀀스를 구성하고 Transformer 블록을 통과해 고정 길이 표현을 생성한다. 출력층에서는 이 표현을 선형 투영해 각 대상 레이어에 삽입 가능한 저순위 어댑터 행렬을 생성하며, 생성된 어댑터는 순전파 시 대상 모델의 선형 변환에 추가되어 동작한다. 학습·평가 세부는 다음과 같다. 훈련 샘플 구성은 관련 사실 1개와 N−1개의 음성 사실로 이루어지는 ℱ를 사용하며 기본 N=4를 적용하였고 데이터셋 MegaWikiQA는 홉별로 원래 수백만 규模에서 필터링을 거쳐 최종 학습 샘플 1.25M을 구성했다. 평가 분할은 ID 검증, OOD non-rephrased, OOD rephrased(LLM에 의한 문장 재표현 포함), OOD MCQ로 구성되어 분포 외 일반화의 다양한 양상을 측정했다. 스케일링 지수 추정은 로그-로그 선형 회귀로 수행되었고, 원문 수식 ℒ = a x^{b}에서 x는 스케일 변수이며 ℒ는 최종 epoch의 손실이다. 회귀는 각 실험의 최종 epoch 손실을 사용해 로그 공간에서 least-squares로 b를 추정했고 추정된 b의 음수 크기가 클수록 스케일 확대에 따른 이득이 더 크다고 해석했다. 실험 범위는 하이퍼넷 크기 167M부터 2.8B, 대상 모델은 0.5B부터 14B까지 포함되었다.

논문에서 명시한 주요 한계는 고용량 하이퍼네트워크의 파라미터 오버헤드로, 최고 용량 실험에서는 하이퍼네트워크가 약 2.5B 파라미터인데 대상 모델이 1.5B여서 배포 비용과 메모리 측면에서 실용성이 떨어진다는 점이다. 본 연구는 Qwen2.5 계열까지의 대상 모델을 다뤘고 70B 이상 전선급 모델에 대한 거동은 실험 범위를 벗어나 있어 외삽이 제한적이다. 데이터 측면에서는 Wikidata5M 기반의 얕은 다중 홉(최대 4-hop) 예시를 사용했기 때문에 깊은 장기적 연결성이나 더욱 복잡한 합성 추론에 대한 결론은 제한적이다.