PyTorch CNN과 Rust 기반 생물학적 신경망(RayBNN)을 결합한 하이브리드 학습 파이프라인 구축 및 디버깅

작성자가 아키텍처와 수식을 매우 상세하게 공유하여 기술적 깊이가 있는 질문을 던졌으며, 하이브리드 시스템에서 발생할 수 있는 그라디언트 단절 문제에 대해 커뮤니티의 분석이 필요한 상황이다.

• PyTorch의 gradcheck 도구를 사용하여 커스텀 역전파 함수의 수치적 미분값과 해석적 미분값이 일치하는지 반드시 확인해야 한다.
• Rust 내부의 독립적인 손실 계산을 제거하고, PyTorch에서 계산된 grad_output을 Rust 역전파 함수의 입력으로 받아 체인 룰(Chain Rule)을 엄격히 준수하도록 수정하라.
• 두 개의 독립적인 Adam 옵티마이저를 사용하는 대신, 가능하다면 모든 파라미터를 하나의 프레임워크에서 관리하거나 학습률(Learning Rate) 스케일을 정렬해야 한다.

• PyTorch(Python)와 RayBNN(Rust)을 결합한 복잡한 하이브리드 딥러닝 파이프라인을 구축함
• 커스텀 autograd 기능을 통해 그라디언트를 전달하려 했으나 손실 함수가 발산하는 문제 발생
• 프레임워크 간 독립적인 손실 계산 및 옵티마이저 운영이 전체 연산 그래프의 정렬을 방해할 가능성이 높음