LLM-Visualized: 트랜스포머 내부 작동 원리 시각화 도구

섹션별 상세

트랜스포머 모델의 12개 레이어에서 발생하는 연산 과정을 2D 뷰로 시각화한다. 각 단계에서 사용되는 파라미터 수와 데이터 변환 과정을 실시간으로 추적하며 모델의 깊이에 따른 정보 처리 방식을 보여준다.

KV 캐시(Key-Value Cache) 모드를 통해 추론 효율화 기법의 작동 방식을 시각적으로 증명한다. 프리필(Prefill) 단계에서 캐시를 생성하고 디코드(Decode) 단계에서 이를 재사용하여 어텐션 연산을 최적화하는 과정을 단계별로 관찰할 수 있다.

개발자 모드(Dev Mode)를 활성화하면 벡터 샘플링 값과 인덱스 정보를 선택 패널에서 직접 확인할 수 있다. 이는 단순한 시각화를 넘어 실제 모델 내부에서 어떤 수치가 오가는지 데이터 수준에서 파악할 수 있게 한다.

수식 오버레이 기능을 통해 현재 진행 중인 트랜스포머 단계에 해당하는 수학적 공식을 화면에 표시한다. 시각적 애니메이션과 실제 수식을 매칭시켜 이론적 배경과 구현 결과 사이의 간극을 좁혀준다.

애니메이션 속도 조절 및 밝기 설정 기능을 제공하여 사용자의 학습 속도에 맞춘 관찰이 가능하다. 특정 레이어나 어텐션 단계를 건너뛰거나 강조하는 기능을 통해 복잡한 전체 구조 중 원하는 부분에 집중할 수 있다.

키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 Key와 Value 벡터를 메모리에 저장해 두는 기술이다. 매번 처음부터 다시 계산하지 않고 저장된 값을 재사용함으로써 추론 속도를 비약적으로 높이고 연산 자원을 절약한다.
프리필 단계(Prefill Phase): — LLM이 입력된 프롬프트 전체를 한꺼번에 처리하여 초기 KV 캐시를 생성하는 과정이다. 모든 입력 토큰 간의 관계를 병렬로 계산하므로 연산 집약적인 특성을 가진다.
디코드 단계(Decode Phase): — 프리필 이후 새로운 토큰을 하나씩 순차적으로 생성하는 과정이다. 이전 단계에서 저장된 KV 캐시를 참조하여 현재 토큰만 계산하므로 프리필 단계보다 연산량은 적지만 메모리 대역폭이 중요하다.
어텐션 메커니즘(Attention Mechanism): — 입력 데이터 내의 서로 다른 부분 간의 상관관계를 계산하여 중요한 정보에 더 높은 가중치를 부여하는 기술이다. 트랜스포머 모델이 문맥을 파악하는 핵심 원리이다.