C++로 바닥부터 구현하는 딥러닝 프레임워크 'Forge'

작성자가 직접 구현한 프레임워크의 기능적 완성도에 대해 긍정적인 반응이 예상되며, 특히 C++ 바닥부터 구현하는 시도에 대한 기술적 관심이 높다.

• 딥러닝 프레임워크를 직접 구현할 때 수치적 안정성을 위해 Softmax와 CrossEntropy 연산을 하나로 결합하는 방식을 권장한다.
• 수학 연산의 복잡도를 줄이기 위해 초기 단계에서는 Eigen과 같은 검증된 선형 대수 라이브러리를 백엔드로 사용하는 것이 효율적이다.

• C++와 Eigen 라이브러리를 조합하여 텐서 연산 및 자동 미분 엔진을 포함한 딥러닝 프레임워크의 핵심 기능을 구현했다.
• MNIST 분류기 학습을 통해 연산 그래프 구축, 역전파, 가중치 업데이트로 이어지는 전체 학습 파이프라인의 정상 작동을 검증했다.
• 수치 안정성을 위해 Log Softmax와 CrossEntropy를 결합(fusing)하는 등 실무적인 최적화 기법을 프레임워크 설계에 반영했다.