신경망의 기초: 30일 완성 머신러닝 가이드 1일차

대체로 긍정적이며, 입문자를 위한 직관적인 설명 방식에 대해 많은 사용자가 호응했다.

• 신경망 학습 시 학습률을 적절히 설정해야 오버슈팅이나 학습 지연을 방지할 수 있다.
• LLM 학습 시에는 이미지 분류와 달리 주로 크로스 엔트로피 손실 함수를 사용한다.

Backpropagation

— 출력층에서 발생한 오차 정보를 입력층 방향으로 전달하여 가중치를 갱신하는 알고리즘이다. 미분의 연쇄 법칙을 활용해 각 파라미터가 오차에 기여한 정도를 계산한다. 신경망이 데이터를 통해 스스로 학습할 수 있게 만드는 핵심 메커니즘이다.

Activation Function

— 입력 신호의 총합을 출력 신호로 변환할 때 사용하는 비선형 함수이다. 모델에 비선형성을 부여하여 복잡한 데이터 패턴을 학습할 수 있게 한다. 대표적으로 ReLU, Sigmoid 등이 있으며 결정 스위치와 같은 역할을 한다.

Gradient

— 함수가 가장 가파르게 증가하는 방향을 나타내는 벡터이다. 인공지능 학습에서는 손실 함수를 최소화하기 위해 이의 반대 방향으로 가중치를 이동시킨다. 오차를 줄이기 위해 어느 방향으로 얼마나 수정해야 할지 알려주는 지표이다.

Learning Rate

— 가중치를 업데이트할 때 그래디언트 방향으로 이동하는 단계의 크기이다. 너무 크면 최적해를 찾지 못하고 진동할 수 있으며, 너무 작으면 학습 속도가 지나치게 느려진다. 모델의 수렴 성능을 결정하는 중요한 하이퍼파라미터이다.

Loss Function

— 모델의 예측값과 실제 정답 사이의 차이를 수치화하는 함수이다. 학습 과정에서 이 함수의 결과값을 최소화하는 방향으로 파라미터가 조정된다. 모델의 성능을 정량적으로 평가하는 기준이 된다.