나는 생각한다, 고로 존재한다: 대규모 언어 모델의 추론 전 결정 인코딩 연구

섹션별 상세

LLM이 텍스트 기반 추론을 시작하기 전에 이미 행동 결정을 내리는지 확인하기 위해 첫 번째 추론 토큰 생성 전의 사전 생성 활성화 데이터를 분석했다.

단순한 선형 프로브를 사용하여 모델의 내부 상태에서 도구 호출 여부와 같은 결정을 매우 높은 정확도로 추출하는 데 성공하여 추론 텍스트 생성 전 결정이 완료됨을 확인했다.

활성화 스티어링 기법으로 모델의 내부 결정 방향을 인위적으로 섭동시킨 결과 벤치마크와 모델에 따라 7%에서 79% 사이의 확률로 최종 행동이 바뀌는 인과적 관계를 증명했다.

행동 분석 결과 스티어링에 의해 결정이 뒤바뀌었을 때 모델의 Chain-of-Thought 과정은 바뀐 결과에 맞춰 논리를 재구성하는 사후 합리화 경향을 보였다.

사고의 사슬(Chain-of-Thought): — 모델이 최종 답변에 도달하기 전 단계별 추론 과정을 텍스트로 생성하도록 유도하는 기법으로 복잡한 문제 해결 능력을 높이는 데 사용된다.
선형 프로브(Linear Probe): — 신경망의 중간 레이어 활성화 값에 간단한 선형 분류기를 적용하여 특정 정보가 모델 내부에 어떤 형태로 인코딩되어 있는지 진단하는 방법이다.
활성화 스티어링(Activation Steering): — 모델의 내부 활성화 벡터를 특정 방향으로 미세하게 조정하여 모델의 출력이나 행동을 인위적으로 제어하고 인과 관계를 파악하는 기법이다.
생성 전 활성화(Pre-generation Activations): — 텍스트 토큰이 실제로 출력되기 직전 신경망 내부에서 계산되는 활성화 상태로 모델의 잠재적인 의사결정 정보를 포함한다.