챕터별 상세
00:00
11년 동안 변하지 않은 AI의 기본 배선
ChatGPT, Claude, Gemini 등 모든 현대적 AI 모델은 2015년에 도입된 잔차 연결(Residual Connection) 아키텍처를 기반으로 설계되었다. 연구자들은 지난 10년 동안 이 설계가 최선이라고 가정하고 복제해왔으나, 중국의 Moonshot AI 팀은 이 근본적인 배선 방식에 결함이 있음을 발견했다. 이들은 기존의 단순한 정보 전달 방식을 재설계한 'Attention Residuals'라는 새로운 논문을 발표했다.
00:52
잔차 연결의 한계: 정보의 희석
잔차 연결은 신경망의 각 층을 통과할 때 원본 데이터를 단순히 더해주는 방식으로 정보를 전달한다. 하지만 층이 수십 개에서 수백 개로 깊어지면 초기 층에서 전달된 중요한 신호가 이후 층의 노이즈에 묻히는 'Pre-norm Dilution' 현상이 발생한다. 이는 편집자들이 원고를 수정할 때 이전 모든 수정 사항을 구분 없이 쌓아두어 어떤 것이 중요한지 알 수 없게 되는 상황과 유사하다.
잔차 연결은 경사 하강법 학습 시 기울기 소실 문제를 해결하기 위해 도입된 기술이지만, 심층 모델에서는 정보의 선택적 전달이 어렵다는 단점이 있다.
02:53
RNN에서 배운 교훈과 Transformer의 진화
과거 RNN(순환 신경망)은 문장이 길어질수록 초기 단어의 정보를 잃어버리는 문제를 겪었으나, Transformer의 어텐션 메커니즘이 이를 해결했다. Moonshot AI 팀은 이 원리를 층 간 연결에도 적용했다. 텍스트의 단어들 사이에서 중요한 것을 고르듯, 모델의 깊이(depth) 방향으로도 각 층이 이전 층들 중 어떤 정보가 필요한지 선택하게 만든 것이다.
03:48
Attention Residuals의 작동 원리
Attention Residuals는 각 층이 이전 모든 층의 출력을 검토하고 현재 처리에 가장 적합한 정보를 가중치를 두어 가져온다. 이는 모든 정보를 무분별하게 섞는 기존 방식과 달리, 모델이 스스로 정보의 우선순위를 정하게 한다. 결과적으로 각 층은 자신에게 필요한 맞춤형 데이터 블렌드를 실시간으로 구성하여 처리 효율을 극대화한다.
04:43
벤치마크 결과 및 효율성 검증
5가지 크기의 모델을 대상으로 테스트한 결과, Attention Residuals를 적용한 모델은 모든 규모에서 기존 방식을 압도했다. 성능 향상 폭은 학습 연산량을 25% 추가로 투입한 것과 맞먹는 수준이었다. 특히 GPQA Diamond 벤치마크에서는 점수가 36.9점에서 44.4점으로 크게 상승했으며, 추론, 수학, 코딩 능력 전반에서 유의미한 개선이 확인됐다.
05:39
실무 적용을 위한 Block Attention Residuals
모든 층을 매번 참조하는 방식은 메모리 비용이 높기 때문에, 연구진은 8개 층을 하나의 블록으로 묶는 'Block Attention Residuals' 기법을 제안했다. 블록 내부에서는 기존 방식을 사용하고 블록 사이에서만 어텐션 연결을 적용하여 연산 오버헤드를 최소화했다. 이 방식을 통해 학습 비용 증가는 4% 미만, 추론 지연은 2% 미만으로 억제하면서도 성능 이득을 대부분 유지했다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 20.수집 2026. 03. 20.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
