LLM 스티어링: 파인튜닝 없이 모델의 성격과 행동을 조절하는 방법

• •모델 가중치 수정 없이 추론 시점에만 작동하는 비파괴적 제어 방식이다
• •Prompt Engineering보다 강력하고 Fine-tuning보다 유연한 행동 수정이 가능하다
• •특정 개념에 대한 모델의 집착도를 계수(Coefficient)로 정밀하게 조절할 수 있다

신경 자극술은 전극이나 자기장을 이용해 뇌의 특정 영역을 자극하여 운동이나 감정을 조절하는 의료 기법이다.

• •레이어 사이의 Hidden State 벡터는 모델의 중간 사고 결과를 나타낸다
• •스티어링은 이 벡터에 특정 개념을 담은 벡터를 더하는 연산이다
• •개별 뉴런 하나가 아닌 여러 뉴런의 활성화 패턴이 하나의 개념을 형성한다

활성화 공간은 일반적으로 수천 차원의 고차원 공간으로 모델이 정보를 처리하는 중간 단계의 표현체이다.

• •개념 벡터는 길이보다 방향이 그 의미를 결정하는 핵심 요소이다
• •중간 레이어(Intermediate Layers)가 추상적 개념 스티어링에 가장 효과적이다
• •벡터 산술 연산을 통해 모델의 출력 성향을 논리적으로 설계할 수 있다

중첩(Superposition)은 모델이 가진 차원 수보다 더 많은 개념을 표현하기 위해 여러 개념을 압축하여 저장하는 방식이다.

• •register_forward_hook을 통해 추론 파이프라인에 실시간 개입이 가능하다
• •스티어링 계수(Coefficient)를 통해 개입의 강도를 동적으로 조절한다
• •과도한 스티어링은 모델의 언어 유창성(Fluency)을 해칠 수 있어 최적점 탐색이 필요하다

Forward Hook은 모델의 순전파 과정 중 특정 레이어의 입력이나 출력을 수정할 수 있게 해주는 PyTorch의 기능이다.

• •대비 활성화 방식은 레이블링된 데이터 쌍을 통해 직관적으로 벡터를 추출한다
• •SAE는 모델 내부의 얽혀 있는 개념들을 개별 특징으로 분리해낸다
• •Neuronpedia를 활용하면 Llama나 Gemma 같은 주요 모델의 개념 벡터를 즉시 획득 가능하다

Sparse Autoencoder는 데이터의 핵심 특징을 소수의 활성화된 유닛으로 압축하여 표현하도록 학습된 신경망이다.