이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Expressivity는 문제 해결이 어려운 저차원 데이터를 고차원으로 투영하여 패턴을 가시화하는 기법이다. 압축이 데이터의 본질을 추출하여 차원을 줄이는 방식이라면, Expressivity는 데이터를 더 넓은 공간으로 확장하여 숨겨진 구조를 드러낸다. XOR 문제에서 3차원 투영을 통해 선형 분리가 가능해지는 사례처럼, 복잡한 문제일수록 고차원 표현이 해답을 제공한다. LLM의 모델 규모 확대, CNN의 특징 맵 생성, NeRF의 푸리에 특징 활용 등이 이 원리를 따른다. 다만, 과도한 표현력은 노이즈까지 학습하는 과적합(Overfitting)을 유발하므로, 데이터의 본질적 패턴과 노이즈를 구분하는 적절한 수준의 Expressivity 설정이 필수적이다.
챕터별 상세
00:00
Expressivity의 개념
압축이 데이터의 본질을 찾아 차원을 줄이는 과정이라면, Expressivity는 데이터를 더 큰 공간으로 확장하여 숨겨진 패턴을 드러내는 정반대의 개념이다. 저차원에서 해결되지 않는 문제는 차원이 부족하여 발생할 가능성이 크다. 데이터를 고차원으로 투영하면 복잡한 문제도 단순한 구조로 나타난다.
02:17
XOR 문제와 고차원 투영
2차원 평면상에서 XOR 데이터는 선형 분리가 불가능하다. 데이터를 3차원으로 투영하면 붉은 점과 회색 점이 공간적으로 분리되어 평면으로 나눌 수 있게 된다. 이는 저차원에서 해결되지 않는 문제가 고차원 표현을 통해 해결 가능함을 보여주는 대표적 사례이다.
04:42
커널 트릭과 회귀 분석
커널 트릭은 선형 분리가 불가능한 데이터를 고차원으로 매핑하여 선형 분리 가능한 상태로 만드는 기법이다. 회귀 분석에서도 모델의 차수(degree)를 높이면 복잡한 곡선을 더 잘 근사할 수 있다. 다만 차수가 너무 높으면 노이즈까지 학습하는 과적합이 발생한다.
07:51
LLM의 창발적 능력
모델 규모가 커지면 지시 이행, 산술, 추론 등 이전에 없던 능력이 나타난다. 이는 더 큰 모델이 작은 모델이 표현할 수 없는 복잡한 함수를 표현할 수 있기 때문이다. 모델 크기는 표현력의 대리 지표로 작용하며, 특정 임계점을 넘으면 성능이 급격히 향상된다.
11:03
Transformer의 Feed-Forward Network
Transformer의 Feed-Forward Network는 각 토큰의 벡터를 4배 더 넓은 공간으로 확장한 뒤 비선형성을 적용하고 다시 투영한다. 이 과정은 모델의 표현력을 높여 지식을 저장하는 핵심 역할을 한다. 연구 결과, 이 층은 키-값 메모리처럼 작동하여 특정 패턴을 인식하고 사실을 저장한다.
14:19
CNN의 특징 맵
CNN은 평면 이미지를 수많은 채널을 가진 고차원 특징 맵으로 변환한다. 이 과정에서 텍스처, 가장자리, 부품 등 다양한 패턴이 추출된다. 고차원 공간으로 투영된 이미지는 분류 모델이 cat과 dog를 명확히 구분할 수 있도록 돕는다.
16:56
NeRF와 푸리에 특징
NeRF는 3D 장면을 재구성할 때 단순히 좌표값만 사용하면 결과가 흐릿하게 나타난다. 좌표를 푸리에 특징을 활용해 고차원 사인/코사인 공간으로 투영하면 네트워크가 미세한 세부 사항을 포착할 수 있다. 입력 데이터를 고차원으로 변환하여 모델의 표현력을 극대화한 사례이다.
용어 해설
- 표현력(Expressivity)
- — 데이터의 복잡한 패턴을 모델이 얼마나 정교하게 표현할 수 있는지를 의미한다. 저차원에서 해결되지 않는 문제를 고차원으로 투영하여 패턴을 가시화하는 기법으로, 모델의 파라미터나 차원을 늘려 복잡한 함수를 근사하는 능력을 향상시킨다.
- 커널 트릭(Kernel Trick)
- — 선형적으로 분리할 수 없는 데이터를 고차원 공간으로 매핑하여 선형 분리가 가능하게 만드는 기법이다. 실제 고차원 변환을 수행하지 않고도 내적 연산을 통해 고차원 공간에서의 결과를 얻어내어 계산 효율성을 높인다.
- 과적합(Overfitting)
- — 모델이 학습 데이터의 노이즈까지 과도하게 학습하여 새로운 데이터에 대한 일반화 성능이 떨어지는 현상이다. 모델의 표현력이 지나치게 높을 때 발생하며, 데이터의 본질적 패턴이 아닌 우연한 사고까지 학습하게 된다.
- 창발적 능력(Emergent Abilities)
- — 모델의 규모가 특정 임계점을 넘었을 때 갑자기 나타나는 새로운 능력이다. 작은 모델에서는 발견되지 않던 산술, 추론, 지시 이행 등의 기능이 대규모 모델에서 급격히 향상되는 현상을 의미한다.
- 피드 포워드 네트워크(Feed-Forward Network)
- — 트랜스포머 블록 내에서 각 토큰의 벡터를 독립적으로 변환하는 모듈이다. 입력을 고차원으로 확장하여 비선형성을 적용한 뒤 다시 투영함으로써 모델의 표현력을 높이고 지식을 저장하는 핵심 역할을 수행한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 23.수집 2026. 06. 23.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
