핵심 요약
PyTorch CNN과 Rust 기반 RayBNN을 결합하여 MNIST 분류를 시도했으나, 손실 함수가 발산하고 정확도가 10%에 머무는 하이브리드 학습 시스템의 구현 문제를 다룬다.
배경
PyTorch의 CNN 특징 추출기와 Rust로 구현된 상태 공간 생물학적 신경망(RayBNN)을 PyO3 바인딩으로 연결하여 엔드투엔드 학습 파이프라인을 구축했다. 하지만 학습 과정에서 손실이 2.3에서 5.5로 증가하고 정확도가 개선되지 않아 커뮤니티에 구조적 결함이나 그라디언트 흐름에 대한 기술적 조언을 요청했다.
의미 / 영향
이 토론은 서로 다른 언어와 프레임워크를 결합할 때 그라디언트 전달의 무결성을 유지하는 것이 얼마나 어려운지 보여준다. 특히 외부 엔진에서 독립적인 최적화 로직을 실행할 경우 PyTorch의 자동 미분 체계와 충돌할 위험이 크며, 이를 해결하기 위해서는 표준적인 grad_output 연동 방식이 필수적이다.
커뮤니티 반응
작성자가 아키텍처와 수식을 매우 상세하게 공유하여 기술적 깊이가 있는 질문을 던졌으며, 하이브리드 시스템에서 발생할 수 있는 그라디언트 단절 문제에 대해 커뮤니티의 분석이 필요한 상황이다.
주요 논점
01중립다수
Rust 내부에서 자체적으로 손실 그라디언트를 계산하는 방식이 PyTorch의 전체 연산 그래프와 수학적으로 완벽히 일치하는지 검증해야 한다.
실용적 조언
- PyTorch의 gradcheck 도구를 사용하여 커스텀 역전파 함수의 수치적 미분값과 해석적 미분값이 일치하는지 반드시 확인해야 한다.
- Rust 내부의 독립적인 손실 계산을 제거하고, PyTorch에서 계산된 grad_output을 Rust 역전파 함수의 입력으로 받아 체인 룰(Chain Rule)을 엄격히 준수하도록 수정하라.
- 두 개의 독립적인 Adam 옵티마이저를 사용하는 대신, 가능하다면 모든 파라미터를 하나의 프레임워크에서 관리하거나 학습률(Learning Rate) 스케일을 정렬해야 한다.
전문가 의견
- 하이브리드 시스템에서 가장 흔한 오류는 프레임워크 경계에서의 그라디언트 부호 반전이나 스케일 불일치이다.
- PyTorch의 autograd는 외부 엔진의 상태 변화를 추적하지 못하므로, 외부 엔진(Rust)의 파라미터 업데이트가 PyTorch 그래프에 반영되지 않으면 전체 최적화가 어긋날 수 있다.
언급된 도구
섹션별 상세
하이브리드 아키텍처 설계 및 데이터 흐름: PyTorch CNN이 [B, 1, 28, 28] 입력을 받아 784차원의 특징 벡터를 추출하면, 이를 Rust 기반의 RayBNN이 입력받아 10개 클래스에 대한 예측값을 산출한다. PyO3와 maturin을 사용하여 Python의 numpy 배열을 Rust로 전달하며, ArrayFire v3.8.1과 CUDA 백엔드를 통해 GPU 가속 연산을 수행하는 구조이다.
커스텀 역전파 구현 방식: torch.autograd.Function을 상속받아 AutoGradEndtoEnd 클래스를 구현하고, Rust의 state_space_backward_group2 함수를 호출하여 역전파를 수행한다. Rust 내부에서는 상태 공간 모델의 타임스텝별 루프를 돌며 가중치(W), 편향(H), 활성화 함수 파라미터(A, B, C, D, E)에 대한 그라디언트를 계산하고 CNN으로 전달할 dL/dX를 산출한다.
독립적인 최적화 및 손실 계산 로직: 특이하게도 RayBNN은 PyTorch의 loss.backward()에서 전달되는 grad_output을 사용하지 않고, 내부적으로 softmax_cross_entropy_grad를 직접 계산하여 역전파를 시작한다. RayBNN의 파라미터는 Rust 내부의 Adam 옵티마이저로 업데이트하고, CNN의 파라미터는 PyTorch의 Adam 옵티마이저로 업데이트하는 이원화된 방식을 채택했다.
학습 실패 증상 및 진단 결과: 15 에포크 동안 900번의 역전파를 수행했음에도 손실이 계속 증가하며 정확도는 무작위 수준인 10%에 머물러 있다. 진단 결과 그라디언트 값은 0이 아니며 샘플마다 다르게 나타나고, CNN이 추출하는 특징값들도 붕괴(Collapse)되지 않고 다양성을 유지하고 있음에도 불구하고 전체적인 수렴이 이루어지지 않는 상태이다.
실무 Takeaway
- PyTorch(Python)와 RayBNN(Rust)을 결합한 복잡한 하이브리드 딥러닝 파이프라인을 구축함
- 커스텀 autograd 기능을 통해 그라디언트를 전달하려 했으나 손실 함수가 발산하는 문제 발생
- 프레임워크 간 독립적인 손실 계산 및 옵티마이저 운영이 전체 연산 그래프의 정렬을 방해할 가능성이 높음
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료