합성 의료 데이터를 활용한 4개 층 신경망 학습 및 양자화 결과 공유

작성자가 학생임에도 불구하고 구체적인 수치와 최적화 결과를 제시한 것에 대해 긍정적인 반응이 예상됩니다.

• 엣지 디바이스 배포를 고려한다면 Int-8 양자화를 통해 모델 크기를 수십 KB 단위로 줄이는 것을 검토하라.
• 데이터가 부족한 경우 신뢰할 수 있는 연구 문헌의 통계치를 바탕으로 합성 데이터를 생성하여 초기 모델 프로토타이핑에 활용할 수 있다.

LSTM

— 시계열 데이터나 순차적인 정보를 처리하는 데 특화된 순환 신경망(RNN)의 일종이다. 정보의 장기 의존성을 학습할 수 있어 의료 데이터와 같이 시간에 따른 변화가 중요한 도메인에서 널리 사용된다.

Int-8 Quantization

— 모델의 가중치를 32비트 부동 소수점에서 8비트 정수로 변환하여 모델 크기를 줄이고 추론 속도를 높이는 최적화 기법이다. 메모리 사용량을 대폭 절감하면서도 성능 하락을 최소화하는 것이 핵심이다.

Batch Normalization

— 각 층의 활성화 값을 평균 0, 분산 1로 정규화하여 학습 속도를 높이고 초기화에 대한 민감도를 줄이는 기법이다. 신경망 내부의 공변량 변화를 억제하여 더 안정적인 학습을 가능하게 한다.

Softmax

— 신경망의 마지막 층에서 출력값을 0과 1 사이의 확률값으로 변환하여 다중 클래스 분류를 수행하는 활성화 함수이다. 모든 출력 노드의 합이 1이 되도록 만들어 가장 높은 확률을 가진 클래스를 선택하게 한다.