챕터별 상세
00:00
면접 전략과 LLM의 큰 그림
Transformer 아키텍처는 현대 AI 면접의 가장 중요한 질문 중 하나이다. 단순한 모듈 나열보다는 전체적인 구조를 이해하고 설명하는 능력이 필요하다. LLM은 크게 입력, 프로세서(Transformer), 출력의 3단계 구조로 나뉜다. 프로세서 내부의 Transformer 블록이 모델의 핵심 연산을 담당한다.
05:00
입력 블록: 토큰과 임베딩
입력 데이터는 토큰화 과정을 거친 후 토큰 임베딩과 포지셔널 임베딩이 더해져 입력 임베딩 벡터가 된다. 토큰 임베딩은 단어의 의미를 고차원 벡터 공간에 매핑하며, 포지셔널 임베딩은 시퀀스 내 토큰의 순서 정보를 제공한다. 이 두 임베딩의 합이 Transformer 프로세서의 입력으로 전달된다.
10:00
Transformer 블록의 8가지 구성 요소
Transformer 블록은 8개의 핵심 모듈로 구성된다. 레이어 정규화, 멀티헤드 어텐션, 드롭아웃, 잔차 연결이 주요 구성 요소이다. 이 모듈들은 직렬로 연결되어 있으며, 입력 벡터를 순차적으로 처리하여 문맥 정보를 학습한다. 각 모듈은 모델의 안정적인 학습과 성능 향상을 위해 필수적이다.
12:00
멀티헤드 어텐션의 원리
멀티헤드 어텐션은 토큰 간의 문맥적 관계를 학습하는 Transformer의 핵심 모듈이다. 입력 벡터에 쿼리, 키, 밸류 가중치 행렬을 곱해 Q, K, V 벡터를 생성한다. Q와 K의 내적을 통해 어텐션 스코어를 계산하고, 소프트맥스를 적용해 가중치를 구한 뒤 V 벡터와 곱하여 문맥이 반영된 컨텍스트 벡터를 생성한다.
13:30
피드포워드 네트워크와 활성화 함수
피드포워드 네트워크는 각 토큰의 표현을 비선형적으로 변환하는 완전 연결 신경망이다. 입력 차원을 4배로 확장했다가 다시 원래 차원으로 축소하는 구조를 가진다. 활성화 함수로 ReLU 대신 GeLU나 SwiGLU를 사용하여 학습 성능을 개선한다. 이 과정은 토큰별로 독립적으로 수행되는 연산이다.
15:00
정규화와 잔차 연결
레이어 정규화는 그래디언트 안정성을 높이고 내부 공변량 변화 문제를 해결한다. 잔차 연결은 입력을 출력에 더해줌으로써 깊은 신경망에서 그래디언트 소실 문제를 완화한다. 이 두 기법은 Transformer 블록의 각 모듈 전후에 배치되어 학습 효율을 극대화한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 18.수집 2026. 06. 18.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
