토큰별 logit 및 스티어링 바가 병렬로 표시된 디코더 샘플링 시각화 스크린샷

이미지 기반 내부 시각화에 대해 커뮤니티는 대체로 관심을 보였으며, 일부는 시각화가 디코딩 오류 원인 파악에 유용하다고 평가했다. 다른 일부 반응은 이미지에 모델 식별 정보나 재현 코드가 없어 실무 적용에 제약이 있다는 지적을 포함했다. 전반적으로 시각적 증거가 토큰 선택 과정의 직관적 이해를 돕는다는 반응이 우세했다.

• 로그잇과 steer 보정항을 같은 시점에 기록하면 비직관적 샘플링 결과의 원인을 정량적으로 추적할 수 있다. 이 방식은 특정 입력에서 grammar 패널이 음수 보정을 주어 선호 토큰이 낮아진 경우처럼 보정항의 영향력을 명확하게 드러낸다. 실제로 디버깅을 수행할 때는 softmax 직전의 logits와 보정항을 함께 저장해 비교하는 것이 권장된다.
• 여러 genome 또는 하이퍼파라미터 조합의 점수를 좌측처럼 병렬로 나열하면 파라미터 탐색 결과를 빠르게 선별할 수 있다. 점수화된 후보를 gating으로 제어하면 실험적 조합의 활성화 여부를 검토하면서 생성 품질과 속도 트레이드오프를 평가할 수 있다. 재현을 위해 화면에 보이는 수치와 동일한 로그를 파일로 남기는 것이 중요하다.

Logit

— 모델이 각 후보 토큰에 대해 계산하는 실수 스코어로서 softmax를 거쳐 확률로 변환된다. 높은 logit 값은 해당 토큰이 다음 토큰으로 선택될 가능성이 높음을 의미하며, 보정항(예: steer, grammar)이 더해지거나 빼이면서 최종 분포가 달라진다. 디코딩 단계에서 토큰 선택 이유와 샘플링 결과를 추적할 때 핵심 지표로 사용된다.

Embedding

— 텍스트 토큰을 연속 공간의 벡터로 변환하는 표현 방식으로서 Transformer 입력으로 사용된다. 임베딩은 컨텍스트와 결합되어 후속 레이어에서 후보 토큰의 logit 계산에 기여하며, 같은 의미의 토큰이 유사한 벡터를 갖도록 학습된다. 디코더의 초깃값과 어텐션 연산에서 입력 정보를 유지하는 역할을 한다.

Softmax

— 모델이 출력한 실수 스코어(예: logits)를 0과 1 사이의 확률 분포로 정규화하는 함수이다. softmax는 각 후보의 상대적 확률을 계산하므로 같은 로그잇 차이도 확률에 큰 영향을 줄 수 있으며, 온도나 보정항과 결합되어 샘플링 다양성이 조절된다. 샘플링 단계의 핵심이므로 생성 결과의 불확실성과 결정 근거를 이해하는 데 중요하다.

Tokenization

— 원문 텍스트를 모델이 처리할 수 있는 단위(토큰)로 분할하는 절차로서 토큰 분할 방식이 출력과 확률 분포에 직접적인 영향을 준다. 서브워드 기반 분할은 긴 단어를 여러 토큰으로 나누므로 디코딩 시 부분 토큰이 결합되어 최종 단어를 형성하는 과정을 발생시킨다. 컨텍스트 창 관리와 토큰 인덱싱의 기초가 되므로 로그잇과 샘플링 해석에서 반드시 고려되어야 한다.