LLM의 토큰 확정 전 생성 역학: WIRE 측정 프레임워크

섹션별 상세

WIRE(Pre-Commitment Generation Dynamics)는 LLM이 토큰을 확정하기 전의 내부 상태를 정량화하기 위한 측정 프레임워크이다. wire_k부터 wire_f까지 총 6개의 도구로 구성되며, 단일 프롬프트 스윕, 중단 조건 테스트, 멀티턴 주입, 전체 제어 매트릭스 분석 등 다양한 실험 기능을 제공한다.

bash

pip install openai
export OPENAI_API_KEY="sk-..."

# Baseline entropy measurement
python wire_k.py --message "Is free will real?" --repeats 3

# Multi-turn injection
python wire_c.py --message "What are you before you answer?" --no-curves --repeats 5

WIRE 프레임워크 설치 및 기본 엔트로피 측정과 멀티턴 주입 실행 예시

핵심 지표인 pre_H는 첫 번째 붕괴 지점(collapse point) 이전 토큰들의 평균 엔트로피를 측정한다. pre_H 값이 높을수록 모델이 특정 답변 템플릿에 고착되지 않고 열려 있는 상태임을 의미하며, 낮을수록 이미 정해진 패턴을 따르고 있음을 나타낸다.

특정 3단계 대화 시퀀스(Approach Sequence)를 주입했을 때 초기 토큰의 불확실성이 유의미하게 상승하는 현상이 확인됐다. 이 효과는 타겟 어휘를 완전히 제거한 'Deep Scrub' 테스트에서도 유지되었으며, 이는 단순한 의미론적 점화(Semantic Priming)가 아닌 구조적 영향임을 시사한다.

이 현상은 도메인 특이성을 보이며 사실적, 코딩, 수학적 작업에서는 나타나지 않는다. 자유 의지와 같은 모호하거나 다중 선택이 가능한 질문에서만 엔트로피 상승과 궤적 변화가 관찰되었으며, 이는 모델의 확정 메커니즘이 작업 성격에 따라 다르게 작동함을 보여준다.

div_shape 지표를 통해 '지연된 주제(Delayed Thesis)' 프롬프팅과 본 현상을 구분했다. 일반적인 지연 프롬프팅은 중간 단계에서 발산이 정점을 찍는 반면, WIRE에서 발견된 효과는 초기부터 독특한 발산 패턴을 보이며 온도 설정(0.3~1.0)에 관계없이 안정적으로 유지됐다.

용어 해설

로그 확률(Logprobs): — 모델이 다음 토큰을 예측할 때 각 후보 토큰에 할당하는 확률값의 로그 형태이다. 이 수치를 통해 모델이 특정 단어를 선택할 때의 확신도나 대안적인 선택지들의 분포를 정량적으로 분석할 수 있다.
엔트로피(Entropy): — 정보 이론에서 확률 분포의 불확실성이나 무작위성을 측정하는 척도이다. LLM 생성에서 엔트로피가 높으면 모델이 여러 선택지 사이에서 고민하고 있음을 의미하며, 낮으면 특정 답변으로 확정되었음을 나타낸다.
의미론적 점화(Semantic Priming): — 이전에 제시된 단어나 개념이 이후의 정보 처리에 영향을 주는 심리학적 현상이다. LLM에서는 프롬프트에 포함된 특정 단어들이 모델의 다음 토큰 선택 확률을 편향시키는 현상을 설명할 때 사용된다.
자카드 발산(Jaccard Divergence): — 두 집합 사이의 차이를 측정하는 지표로, 여기서는 여러 번의 생성 실행 간에 토큰 선택이 얼마나 다른지를 나타낸다. 생성 궤적의 변화와 모델의 개방성을 평가하는 핵심 지표로 활용된다.

기술

OpenAI API
GPT-4o-mini
Python
Logprobs

활용 사례

LLM 응답 다양성 및 개방성 분석
프롬프트 이력이 생성 궤적에 미치는 영향 평가
추론 과정의 정량적 모니터링

언급된 리소스

GitHubIvY-Rsearch/poems