DVC와 Amazon SageMaker MLflow를 활용한 엔드투엔드 ML 추적성 구축

많은 ML 팀이 프로덕션 모델의 정확한 학습 데이터 버전과 실험 조건을 추적하는 데 어려움을 겪고 있으며, 이는 특히 규제 산업에서 큰 병목이 됩니다. 본 아키텍처는 DVC를 통해 대규모 데이터셋을 Git 커밋과 연결하여 버전 관리하고, SageMaker MLflow를 사용하여 실험 메트릭과 모델 레지스트리를 관리함으로써 이 간극을 메웁니다. 학습 시 DVC 커밋 해시를 MLflow 파라미터로 기록하여 '모델-실험-데이터'로 이어지는 완전한 계보를 형성하며, 이를 통해 6개월 전 모델도 동일한 데이터로 재현할 수 있는 환경을 구축합니다. 결과적으로 의료나 금융과 같은 규제 환경에서 요구하는 데이터 삭제 요청(Opt-out) 대응 및 감사 요구사항을 기술적으로 충족할 수 있습니다.