C++로 바닥부터 구현하는 딥러닝 프레임워크 'Forge'

작성자가 직접 구현한 프레임워크의 기능적 완성도에 대해 긍정적인 반응이 예상되며, 특히 C++ 바닥부터 구현하는 시도에 대한 기술적 관심이 높다.

• 딥러닝 프레임워크를 직접 구현할 때 수치적 안정성을 위해 Softmax와 CrossEntropy 연산을 하나로 결합하는 방식을 권장한다.
• 수학 연산의 복잡도를 줄이기 위해 초기 단계에서는 Eigen과 같은 검증된 선형 대수 라이브러리를 백엔드로 사용하는 것이 효율적이다.

Autodiff Engine

— 딥러닝 프레임워크에서 연산 그래프를 따라 미분값을 자동으로 계산하는 핵심 모듈이다. 역전파 알고리즘을 통해 각 파라미터가 손실 함수에 미치는 영향을 수치화하며, 모델 학습 시 가중치를 업데이트하는 데 필수적인 역할을 한다.

Computation Graph

— 수학적 연산 과정을 노드와 엣지로 표현한 데이터 구조이다. 데이터의 흐름과 연산 순서를 정의하며, 자동 미분 엔진이 이 그래프를 순회하며 효율적으로 기울기를 계산할 수 있게 돕는다.

Math Backend

— 행렬 연산이나 벡터 계산 등 실제 수치 연산을 수행하는 하위 라이브러리 또는 커널이다. 프레임워크의 성능을 결정짓는 핵심 요소로, CPU용 Eigen이나 GPU용 CUDA 커널 등이 대표적이다.

Cross-Entropy Loss

— 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 손실 함수이다. 주로 분류 문제에서 사용되며, 예측이 틀릴수록 값이 기하급수적으로 커져 모델이 정답을 맞히도록 유도한다.