챕터별 상세
00:00
스티어링: 인공지능을 위한 뇌 자극술
스티어링은 뇌과학의 신경 자극술(Neurostimulation)과 유사한 개념으로 모델의 특정 뉴런을 인위적으로 자극하여 행동을 유도하거나 억제한다. 파인튜닝과 달리 모델의 가중치를 전혀 수정하지 않으며 추론 시점에 실시간으로 개입한다. Llama 3.1 8B 모델에 에펠탑 개념 벡터를 주입하면 모델이 스스로를 에펠탑이라고 믿거나 모든 답변을 에펠탑과 연관 짓게 된다.
신경 자극술은 전극이나 자기장을 이용해 뇌의 특정 영역을 자극하여 운동이나 감정을 조절하는 의료 기법이다.
02:18
Transformer 내부의 활성화 공간과 숨겨진 상태
Transformer 아키텍처는 여러 층의 레이어로 구성되며 각 레이어 사이에는 고차원 벡터인 숨겨진 상태(Hidden State)가 존재한다. 이 벡터들이 존재하는 공간을 활성화 공간(Activation Space)이라 부르며 스티어링의 직접적인 타겟이 된다. 각 레이어의 출력값인 이 벡터들을 모델의 내부 사고 과정으로 간주하고 여기에 특정 방향성을 가진 벡터를 더해 사고의 흐름을 바꾼다.
활성화 공간은 일반적으로 수천 차원의 고차원 공간으로 모델이 정보를 처리하는 중간 단계의 표현체이다.
04:25
개념의 선형 표현과 벡터 연산의 원리
LLM 내부에서 추상적인 개념들은 특정 방향을 가진 벡터로 표현되는 선형 표현 현상(Linear Representation Phenomenon)을 보인다. Word2Vec의 사례처럼 개념 벡터 간의 덧셈과 뺄셈을 통해 새로운 의미를 생성할 수 있다. 예를 들어 자동차 벡터에 빨간색 벡터를 더하면 빨간 자동차 개념이 강화된다. 개념은 뉴런들에 분산되어 저장되는 중첩(Superposition) 상태로 존재하며 중간 레이어에서 가장 추상적인 추론이 이루어진다.
중첩(Superposition)은 모델이 가진 차원 수보다 더 많은 개념을 표현하기 위해 여러 개념을 압축하여 저장하는 방식이다.
09:04
Hugging Face Transformers를 이용한 실전 스티어링 구현
Hugging Face의 Transformers 라이브러리에서 제공하는 register_forward_hook 기능을 사용하여 스티어링을 구현했다. 특정 레이어의 출력을 가로채어 미리 준비된 개념 벡터를 특정 계수만큼 곱해 더해주는 함수를 등록한다. 계수가 4일 때는 은근한 성향 변화를 보이고 8일 때는 강력한 집착을 보이며 15 이상으로 높이면 모델의 논리 구조가 붕괴되어 무의미한 텍스트를 출력한다. 이 모든 과정은 모델 가중치 변경 없이 메모리 상에서 즉각적으로 수행된다.
Forward Hook은 모델의 순전파 과정 중 특정 레이어의 입력이나 출력을 수정할 수 있게 해주는 PyTorch의 기능이다.
13:43
스티어링 벡터를 찾는 두 가지 핵심 방법
스티어링에 사용할 벡터를 찾는 첫 번째 방법은 대비 활성화(Contrastive Activation)로 특정 개념이 포함된 프롬프트와 포함되지 않은 프롬프트의 활성화 값 차이를 평균 내어 구한다. 두 번째이자 더 정교한 방법은 Sparse Autoencoder(SAE)를 사용하는 것이다. SAE는 모델의 활성화를 비지도 학습으로 재구성하여 각 차원이 해석 가능한 하나의 특징(Feature)에 대응하도록 분리한다. Neuronpedia와 같은 플랫폼을 통해 이미 학습된 SAE 특징 벡터를 쉽게 찾아 활용할 수 있다.
Sparse Autoencoder는 데이터의 핵심 특징을 소수의 활성화된 유닛으로 압축하여 표현하도록 학습된 신경망이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 18.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
