SpiritMirror 개발일지 Part 2 — iOS에서 얼굴 키포인트 기반 경량 하이브리드 ML 파이프라인

이 글은 iOS 모바일 앱 'SpiritMirror'의 ML 아키텍처 개발일지로, 이미지 대신 Apple Vision으로 추출한 468개 얼굴 키포인트에서 15개의 기하학적 지표를 계산해 경량 특징 벡터로 만들고 이를 온디바이스에서 추론하도록 설계한 내용이다. 입력은 키포인트 좌표 → 기하학 지표 계산 → CNN로 공간적 패턴 인코딩 → Random Forest로 예측 검증의 흐름을 따르며, SHAP을 통해 각 지표의 예측 기여도를 도메인 용어와 연결해 해석성을 확보했다. 학습 데이터는 1,000명 이상 역사적 인물을 사용해 12개 'Destiny Dimensions'와 총 36개 서브스코어를 예측하도록 모델을 구성했고, iOS Neural Engine에서 원활히 동작하도록 CNN 가중치 균형 조정을 통해 전력·메모리 트레이드오프를 줄였다. 요약하면, 모바일 상용화를 위해서는 픽셀 처리 제거(키포인트→특징 벡터), 하드웨어 친화적 모델 구성, 그리고 SHAP 같은 해석 도구로 예측 근거를 연결하는 설계가 실무적으로 유효하다는 결론이 도출된다.