신경망의 기초: 30일 완성 머신러닝 가이드 1일차

실용적 조언

신경망 학습 시 학습률을 적절히 설정해야 오버슈팅이나 학습 지연을 방지할 수 있다.
LLM 학습 시에는 이미지 분류와 달리 주로 크로스 엔트로피 손실 함수를 사용한다.

섹션별 상세

신경망은 입력층, 은닉층, 출력층으로 구성된 계층적 구조를 가진다. 각 유닛은 이전 층의 데이터를 받아 가중치를 곱하고 합산하여 다음 층으로 전달하는 방식으로 작동한다. 초기 층은 단순한 패턴을 감지하고 깊은 층으로 갈수록 복잡한 특징을 결합하여 최종 결과를 도출한다. 이는 규칙 기반 프로그래밍이 아닌 예시 데이터를 통한 학습의 기초이다.

입력층, 은닉층, 출력층으로 구성된 표준적인 신경망 아키텍처 다이어그램이다. — Diagram데이터가 왼쪽에서 오른쪽으로 흐르며 각 층의 유닛들이 연결된 구조를 시각화했다. 얕은 층에서 깊은 층으로 갈수록 패턴이 구체화되는 과정을 나타내는 근거이다.

가중치와 편향은 모델이 데이터의 중요도를 판단하고 결정을 내리는 핵심 변수이다. 가중치는 특정 특징의 중요도를 조절하며, 편향은 입력값이 작더라도 결과값을 특정 방향으로 이동시키는 보정 역할을 수행한다. 학습 과정에서 이 수치들은 오차를 줄이는 방향으로 지속적으로 업데이트된다. 이를 통해 모델은 데이터 내의 복잡한 관계를 수치적으로 표현한다.

활성화 함수는 가중치 합산 결과를 최종 결정으로 변환하는 스위치 역할을 한다. 모델의 예측이 실제 정답과 얼마나 차이 나는지를 측정하는 지표를 손실이라고 부른다. 손실이 클수록 모델의 예측이 부정확함을 의미하며, 학습의 궁극적인 목표는 이 손실 값을 최소화하는 것이다.

역전파는 발생한 손실을 바탕으로 출력층에서 입력층 방향으로 거슬러 올라가며 가중치를 수정하는 과정이다. 각 가중치가 오차에 기여한 정도를 나타내는 그래디언트를 계산하여 수정 방향을 결정한다. 이때 학습률은 가중치를 한 번에 얼마나 변경할지 결정하는 보폭 역할을 하며, 너무 크면 최적점을 지나치고 너무 작으면 학습이 느려진다.

신경망이 오차를 줄여나가는 역전파와 학습 과정을 설명하는 이미지이다. — Diagram손실 계산 후 그래디언트를 따라 가중치를 업데이트하는 순환 구조를 나타냈다. 모델이 실수로부터 배우는 메커니즘을 직관적으로 이해하도록 돕는다.

용어 해설

역전파(Backpropagation): — 출력층에서 발생한 오차 정보를 입력층 방향으로 전달하여 가중치를 갱신하는 알고리즘이다. 미분의 연쇄 법칙을 활용해 각 파라미터가 오차에 기여한 정도를 계산한다. 신경망이 데이터를 통해 스스로 학습할 수 있게 만드는 핵심 메커니즘이다.
활성화 함수(Activation Function): — 입력 신호의 총합을 출력 신호로 변환할 때 사용하는 비선형 함수이다. 모델에 비선형성을 부여하여 복잡한 데이터 패턴을 학습할 수 있게 한다. 대표적으로 ReLU, Sigmoid 등이 있으며 결정 스위치와 같은 역할을 한다.
그래디언트(Gradient): — 함수가 가장 가파르게 증가하는 방향을 나타내는 벡터이다. 인공지능 학습에서는 손실 함수를 최소화하기 위해 이의 반대 방향으로 가중치를 이동시킨다. 오차를 줄이기 위해 어느 방향으로 얼마나 수정해야 할지 알려주는 지표이다.
학습률(Learning Rate): — 가중치를 업데이트할 때 그래디언트 방향으로 이동하는 단계의 크기이다. 너무 크면 최적해를 찾지 못하고 진동할 수 있으며, 너무 작으면 학습 속도가 지나치게 느려진다. 모델의 수렴 성능을 결정하는 중요한 하이퍼파라미터이다.
손실 함수(Loss Function): — 모델의 예측값과 실제 정답 사이의 차이를 수치화하는 함수이다. 학습 과정에서 이 함수의 결과값을 최소화하는 방향으로 파라미터가 조정된다. 모델의 성능을 정량적으로 평가하는 기준이 된다.

언급된 도구

PyTorch추천

텐서 연산 및 신경망 학습 루프 구현을 위한 라이브러리

언급된 리소스

문서Going back to what we know: Injecting physical insights into neural networks