LLM 신경해부학: 가중치 변경 없이 LLM 리더보드 1위를 달성한 방법

섹션별 상세

LLM의 초기 레이어는 입력을 추상적 표현으로 번역하고, 마지막 레이어는 이를 다시 출력 형식으로 번역하며, 중간 레이어는 순수 추론을 담당한다는 신경해부학적 가설을 세웠다.

Open LLM Leaderboard에서 1위를 차지한 RYS-XLarge 모델의 스크린샷이다. — Screenshot저자가 제안한 레이어 복제 기법을 적용한 RYS-XLarge 모델이 기존의 수많은 미세 조정 모델들을 제치고 평균 점수 44.75로 1위에 올랐음을 증명한다.

Goliath-120B와 같은 프랑켄머지 모델의 성공 사례를 통해 레이어 간의 표현이 생각보다 균일하며, 레이어 순서를 바꾸거나 건너뛰어도 모델이 붕괴하지 않는 유연성을 가졌음을 확인했다.

Transformer 블록의 내부 구조와 데이터 흐름을 보여주는 다이어그램이다. — Diagram레이어 건너뛰기나 복제가 왜 가능한지 설명하기 위해 잔차 연결(Residual Connection) 구조를 시각화하며, 입력이 각 블록을 거치며 어떻게 처리되는지 보여준다.

모든 레이어 복제 조합(i, j)을 테스트하기 위해 브레인 스캐너 파이프라인을 구축하고, 계산 비용을 줄이기 위해 수천 개의 토큰 생성 대신 수학 문제와 EQ-Bench를 성능 측정의 대리 지표로 활용했다.

실험 결과 단일 레이어 복제는 성능을 저하시키지만 특정 범위의 레이어 블록을 통째로 복제할 경우 추론 능력이 비약적으로 상승함을 발견했다.

Qwen2-72B 모델에서 45번부터 51번까지의 7개 레이어를 복제한 RYS-XLarge 모델은 MuSR 벤치마크에서 17.7%, MATH 벤치마크에서 8.1%의 성능 향상을 기록하며 리더보드 1위에 올랐다.

이 기법은 가중치를 수정하지 않으므로 VRAM 사용량을 늘리지 않고도 레이어 포인터 복제만으로 모델의 추론 깊이를 확장할 수 있는 효율적인 스케일링 방법임을 입증했다.

용어 해설

프랑켄머지(Frankenmerge): — 서로 다른 두 개 이상의 모델 레이어를 물리적으로 결합하여 새로운 모델을 만드는 기법이다. 가중치 학습 없이 기존 모델의 구조적 결합만으로 성능 향상을 꾀하며, LLM의 유연한 레이어 구조를 활용한다.
기계적 해석 가능성(Mechanistic Interpretability): — AI 모델 내부의 개별 뉴런이나 레이어 회로가 구체적으로 어떤 논리적 과정을 거쳐 결과를 도출하는지 분석하는 연구 분야이다. 블랙박스인 신경망을 생물학적 뇌 구조처럼 해부하여 이해하려는 시도이다.
로짓(Logit): — 모델의 마지막 레이어에서 출력되는 정규화되지 않은 예측 값이다. 소프트맥스 함수를 거쳐 확률로 변환되기 전의 수치로, 모델이 특정 토큰에 대해 느끼는 확신의 정도를 직접적으로 나타낸다.
KV 캐시(KV Cache): — Transformer 추론 시 이전 토큰들의 Key와 Value 행렬을 메모리에 저장해두는 기술이다. 매번 처음부터 다시 계산할 필요를 없애주어 생성 속도를 비약적으로 높이지만, 모델이 길어질수록 메모리 점유율이 높아진다.
BPE 토크나이저(BPE Tokenizer): — 자주 등장하는 문자열 조합을 하나의 단위로 묶어 처리하는 토큰화 방식이다. 숫자가 불규칙하게 쪼개질 경우 모델의 산술 연산 능력을 저하시키는 원인이 되기도 한다.

기술

Qwen2-72B
ExLlamaV2
Python
RTX 4090

활용 사례

추가 학습 없이 LLM 추론 성능 강화
VRAM 제약 환경에서의 모델 스케일업
특정 도메인(수학, EQ) 성능 최적화

언급된 리소스

문서dnhkng/RYS-XLarge

DemoOpen LLM Leaderboard

섹션별 상세

실험 결과 단일 레이어 복제는 성능을 저하시키지만 특정 범위의 레이어 블록을 통째로 복제할 경우 추론 능력이 비약적으로 상승함을 발견했다.

용어 해설

프랑켄머지(Frankenmerge): — 서로 다른 두 개 이상의 모델 레이어를 물리적으로 결합하여 새로운 모델을 만드는 기법이다. 가중치 학습 없이 기존 모델의 구조적 결합만으로 성능 향상을 꾀하며, LLM의 유연한 레이어 구조를 활용한다.
기계적 해석 가능성(Mechanistic Interpretability): — AI 모델 내부의 개별 뉴런이나 레이어 회로가 구체적으로 어떤 논리적 과정을 거쳐 결과를 도출하는지 분석하는 연구 분야이다. 블랙박스인 신경망을 생물학적 뇌 구조처럼 해부하여 이해하려는 시도이다.
로짓(Logit): — 모델의 마지막 레이어에서 출력되는 정규화되지 않은 예측 값이다. 소프트맥스 함수를 거쳐 확률로 변환되기 전의 수치로, 모델이 특정 토큰에 대해 느끼는 확신의 정도를 직접적으로 나타낸다.
KV 캐시(KV Cache): — Transformer 추론 시 이전 토큰들의 Key와 Value 행렬을 메모리에 저장해두는 기술이다. 매번 처음부터 다시 계산할 필요를 없애주어 생성 속도를 비약적으로 높이지만, 모델이 길어질수록 메모리 점유율이 높아진다.
BPE 토크나이저(BPE Tokenizer): — 자주 등장하는 문자열 조합을 하나의 단위로 묶어 처리하는 토큰화 방식이다. 숫자가 불규칙하게 쪼개질 경우 모델의 산술 연산 능력을 저하시키는 원인이 되기도 한다.

기술

Qwen2-72B
ExLlamaV2
Python
RTX 4090

활용 사례

추가 학습 없이 LLM 추론 성능 강화
VRAM 제약 환경에서의 모델 스케일업
특정 도메인(수학, EQ) 성능 최적화

언급된 리소스

문서dnhkng/RYS-XLarge

DemoOpen LLM Leaderboard

LLM 신경해부학: 가중치 변경 없이 LLM 리더보드 1위를 달성한 방법

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

LLM 신경해부학: 가중치 변경 없이 LLM 리더보드 1위를 달성한 방법

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드