본문으로 건너뛰기
CodeEmporium

합성곱 신경망(CNN)의 진화: LeNet에서 ResNet까지의 역사

LeNet-5부터 ResNet까지 CNN 아키텍처의 발전 과정을 통해 합성곱, 풀링, 스킵 연결 등 핵심 기술의 원리와 등장 배경을 다룹니다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

단순한 신경망이 이미지 인식에서 겪던 과적합 문제를 해결하기 위해 Convolution, 활성화 함수, Pooling이라는 세 가지 핵심 개념이 도입되었습니다. 1998년 LeNet-5로 시작된 CNN은 데이터와 하드웨어의 한계로 잠시 정체되었으나, 2012년 AlexNet이 GPU와 대규모 데이터를 활용하며 화려하게 부활했습니다. 이후 VGGNet과 GoogLeNet은 층을 더 깊게 쌓는 방법을 제시했고, ResNet은 Skip Connection을 통해 깊은 망에서의 성능 저하 문제를 해결하며 현대 딥러닝의 기틀을 마련했습니다. 이러한 아키텍처의 진화는 현재 Transformer 모델의 확장성 확보에도 핵심적인 기술적 근거를 제공하고 있습니다.

챕터별 상세

00:00

단순 신경망의 한계와 과적합 문제

은닉층이 없는 단순한 신경망은 훈련 데이터에 대해서는 100% 성능을 보이지만 테스트 데이터에서는 68%로 급락하는 과적합 문제를 보였다. 이는 아키텍처가 너무 단순하여 데이터를 일반화하지 못하고 단순히 암기하기 때문이다. 은닉층을 추가해도 학습 파라미터가 너무 많아지면 성능 변동성이 커지는 한계가 발생했다. 결과적으로 이미지의 특성을 반영하지 못하는 일반적인 Fully Connected 구조는 시각 정보 처리에 부적합함이 확인됐다.

과적합(Overfitting)은 모델이 훈련 데이터에만 너무 맞춰져서 새로운 데이터에 대한 예측 능력이 떨어지는 현상을 말한다.

02:09

CNN을 구성하는 3가지 핵심 기술

이미지 처리를 최적화하기 위해 Convolution, 활성화 함수, Pooling 개념이 도입되었다. Convolution은 픽셀 간의 지역적 상관관계를 이용해 특징을 추출하며 위치 불변성을 제공한다. 활성화 함수는 비선형성을 추가해 복잡한 관계를 학습하게 하며, Pooling은 데이터를 다운샘플링하여 학습 파라미터 수를 획기적으로 줄여준다. 이 세 가지 요소의 결합을 통해 신경망은 이미지의 공간적 구조를 효율적으로 학습할 수 있는 능력을 갖추게 되었다.

활성화 함수는 신경망에 비선형성을 부여하여 모델이 복잡한 패턴을 학습할 수 있게 돕는 수학적 도구이다.

03:13

LeNet-5와 초기 CNN의 탄생

1998년 발표된 LeNet-5는 Convolution, 활성화, Pooling 층을 결합하여 숫자 분류에서 98%의 높은 정확도를 달성했다. 하지만 90년대 당시에는 대규모 데이터와 이를 처리할 하드웨어 성능이 부족하여 더 복잡한 이미지 인식으로 확장하는 데 한계가 있었다. 이로 인해 CNN 연구는 한동안 정체기를 겪게 되었다. 결과적으로 알고리즘의 우수성에도 불구하고 인프라의 뒷받침이 없으면 기술 확산이 어렵다는 교훈을 남겼다.

LeNet-5는 얀 르쿤(Yann LeCun)이 개발한 초기 CNN 모델로 수표의 필기체 숫자를 인식하는 데 사용되었다.

04:02

AlexNet과 CNN의 화려한 부활

2012년 AlexNet은 인터넷의 발달로 확보된 대규모 데이터인 ImageNet과 GPU의 병렬 연산 능력을 활용해 CNN의 전성기를 다시 열었다. 기존 LeNet 구조를 확장하여 더 깊은 층을 쌓았으며, 까다로운 이미지 분류 작업에서 65%의 정확도를 기록하며 성능을 입증했다. 이는 딥러닝이 컴퓨터 비전의 주류가 되는 결정적인 계기가 되었다. 하드웨어 가속과 빅데이터의 결합이 AI 성능을 비약적으로 향상시킬 수 있음을 증명한 사례이다.

ImageNet은 1,000개 이상의 카테고리로 분류된 수백만 장의 이미지를 포함하는 대규모 시각 데이터베이스이다.

04:51

VGGNet과 GoogLeNet의 심층화 전략

성능 향상을 위해 층을 더 깊게 쌓는 두 가지 방식이 등장했다. VGGNet은 큰 필터 대신 3x3 크기의 작은 Convolution 필터를 연속으로 사용하여 비선형성을 높이고 정확도를 93%까지 끌어올렸다. 반면 GoogLeNet은 Inception 모듈을 통해 희소 연결을 시뮬레이션함으로써 파라미터 수를 억제하면서도 망의 깊이를 효율적으로 확장했다. 두 모델 모두 층의 깊이가 표현력 향상에 직결된다는 사실을 수치로 보여주었다.

Inception 모듈은 여러 크기의 필터를 병렬로 사용하여 다양한 스케일의 특징을 동시에 추출하는 구조이다.

06:10

ResNet과 스킵 연결의 혁신

망이 깊어질수록 오히려 성능이 떨어지는 성능 저하 문제를 해결하기 위해 ResNet은 Skip Connection을 도입했다. 입력값을 출력값에 직접 더해주는 잔차 학습 방식을 통해 152층에 달하는 깊은 망에서도 안정적인 학습이 가능해졌으며 정확도는 96%에 도달했다. 이 기술은 현재 Transformer 아키텍처에서도 확장성을 위해 필수적으로 사용되고 있다. 깊은 신경망 학습의 고질적인 병목이었던 기울기 소실 문제를 구조적으로 해결했다는 점에서 큰 의미를 갖는다.

잔차 학습(Residual Learning)은 입력과 출력의 차이(잔차)만을 학습하도록 하여 최적화를 쉽게 만드는 방식이다.

용어 해설

합성곱(Convolution)
— 이미지의 특정 영역에 필터를 적용하여 특징을 추출하는 연산이다. 픽셀 간의 지역적 상관관계를 보존하며 위치가 바뀌어도 동일한 특징을 인식하는 위치 불변성을 제공하여 이미지 처리에 핵심적인 역할을 한다.
풀링(Pooling)
— 입력 데이터의 공간적 크기를 줄이는 다운샘플링 기법이다. 주요 특징은 유지하면서 계산에 필요한 파라미터 수를 획기적으로 줄여 과적합을 방지하고 연산 효율성을 높이는 데 기여한다.
스킵 연결(Skip Connection)
— 신경망의 입력값을 몇 개의 층을 건너뛰어 출력값에 직접 더해주는 구조이다. 층이 깊어질 때 발생하는 기울기 소실 문제를 완화하고 성능 저하 없이 모델을 매우 깊게 쌓을 수 있게 해준다.
이동 불변성(Translation Invariance)
— 대상의 위치가 이미지 내에서 바뀌더라도 동일한 대상으로 인식할 수 있는 특성이다. Convolution 연산을 통해 구현되며, 객체가 사진의 어디에 있든 정확하게 탐지할 수 있게 한다.
성능 저하 현상(Performance Degradation)
— 신경망의 층이 일정 수준 이상으로 깊어질 때 오히려 정확도가 떨어지는 현상이다. 이는 과적합 때문이 아니라 학습의 어려움으로 인해 발생하며, ResNet의 잔차 학습을 통해 해결되었다.

언급된 리소스

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 09. 08.수집 2026. 09. 08.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.