C++로 바닥부터 구현하는 딥러닝 프레임워크 'Forge'

실용적 조언

딥러닝 프레임워크를 직접 구현할 때 수치적 안정성을 위해 Softmax와 CrossEntropy 연산을 하나로 결합하는 방식을 권장한다.
수학 연산의 복잡도를 줄이기 위해 초기 단계에서는 Eigen과 같은 검증된 선형 대수 라이브러리를 백엔드로 사용하는 것이 효율적이다.

섹션별 상세

작성자는 C++와 Eigen 라이브러리를 수학 백엔드로 활용하여 'Forge'라는 프레임워크의 핵심 텐서 시스템을 구축했다. 텐서 시스템은 CPU 메모리 할당기와 연동되어 데이터를 관리하며, 향후 성능 최적화를 위해 직접 제작한 CUDA 커널을 도입할 계획이다. MNIST 데이터셋을 이용한 MLP 학습 과정에서 손실 함수가 정상적으로 감소하는 것을 확인하여 시스템의 안정성을 입증했다.

프레임워크의 핵심인 자동 미분 엔진이 연산 그래프를 올바르게 생성하고 순회하며 학습을 수행한다. Linear 레이어, ReLU, Softmax 등 다양한 활성화 함수와 CrossEntropy 손실 함수가 구현되어 있으며, 특히 Log Softmax와 CE를 결합하여 연산 효율을 높였다. 현재 SGD 옵티마이저를 통해 가중치 업데이트가 이루어지며, 향후 Adam 및 AdamW 등 고급 최적화 알고리즘을 추가할 예정이다.

현재는 CPU 환경에서만 작동하지만 최종 목표는 Forge를 이용해 현대적인 Transformer 모델을 학습시키는 것이다. 이를 위해 단순한 MLP 구조를 넘어 GELU, Tanh 등 다양한 프리미티브를 이미 확보했으며, 연산 그래프 기반의 유연한 아키텍처를 설계했다. 작성자는 깃허브 저장소를 통해 향후 CUDA 백엔드 구현 및 모멘텀 기반 최적화 도구 추가 계획을 밝혔다.

용어 해설

자동 미분 엔진(Autodiff Engine): — 딥러닝 프레임워크에서 연산 그래프를 따라 미분값을 자동으로 계산하는 핵심 모듈이다. 역전파 알고리즘을 통해 각 파라미터가 손실 함수에 미치는 영향을 수치화하며, 모델 학습 시 가중치를 업데이트하는 데 필수적인 역할을 한다.
연산 그래프(Computation Graph): — 수학적 연산 과정을 노드와 엣지로 표현한 데이터 구조이다. 데이터의 흐름과 연산 순서를 정의하며, 자동 미분 엔진이 이 그래프를 순회하며 효율적으로 기울기를 계산할 수 있게 돕는다.
수학 백엔드(Math Backend): — 행렬 연산이나 벡터 계산 등 실제 수치 연산을 수행하는 하위 라이브러리 또는 커널이다. 프레임워크의 성능을 결정짓는 핵심 요소로, CPU용 Eigen이나 GPU용 CUDA 커널 등이 대표적이다.
교차 엔트로피 손실(Cross-Entropy Loss): — 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 측정하는 손실 함수이다. 주로 분류 문제에서 사용되며, 예측이 틀릴수록 값이 기하급수적으로 커져 모델이 정답을 맞히도록 유도한다.

언급된 도구

Forge추천

C++ 기반의 자체 제작 딥러닝 프레임워크

Eigen추천

C++ 선형 대수 라이브러리 (수학 백엔드)

CUDA중립

GPU 가속 연산을 위한 병렬 컴퓨팅 플랫폼

언급된 리소스

DemoMNIST Training on Forge (YouTube)

GitHubAuthor's GitHub Profile