AI의 위대한 정신 모델: 표현력(Expressivity)

Expressivity는 문제 해결이 어려운 저차원 데이터를 고차원으로 투영하여 패턴을 가시화하는 기법이다. 압축이 데이터의 본질을 추출하여 차원을 줄이는 방식이라면, Expressivity는 데이터를 더 넓은 공간으로 확장하여 숨겨진 구조를 드러낸다. XOR 문제에서 3차원 투영을 통해 선형 분리가 가능해지는 사례처럼, 복잡한 문제일수록 고차원 표현이 해답을 제공한다. LLM의 모델 규모 확대, CNN의 특징 맵 생성, NeRF의 푸리에 특징 활용 등이 이 원리를 따른다. 다만, 과도한 표현력은 노이즈까지 학습하는 과적합(Overfitting)을 유발하므로, 데이터의 본질적 패턴과 노이즈를 구분하는 적절한 수준의 Expressivity 설정이 필수적이다.