챕터별 상세
배경 및 대회 개요
이 대회는 MediaPipe Holistic 모델에서 추출된 랜드마크 데이터를 사용하여 250개의 미국 수어(ASL) 단어를 분류하는 과제를 수행했다. 제출 모델은 모바일 기기에서의 실시간 추론을 위해 TensorFlow Lite(TFLite) 형식으로 제한되었다. 데이터는 손, 얼굴, 포즈의 XYZ 좌표로 구성된 랜드마크 형태이다.
모델 설계 전략
모델 선택, 데이터 전처리, 모델 최적화(압축), 규제 기법의 4가지 요소를 반복적으로 개선하는 워크플로우를 적용했다. 초기에는 효과적인 모델 아키텍처를 식별한 후 데이터 전처리 방식을 고도화했다. 정확도가 향상됨에 따라 모델의 강건성을 위해 더 많은 규제 기법을 도입하고 마지막으로 파라미터 수를 줄이는 모델 압축을 진행했다.
데이터 전처리 및 피처 엔지니어링
기본적으로 손의 랜드마크 XYZ 좌표를 사용했으며, 입술 랜드마크를 추가했을 때 정확도가 약 0.02 향상되었다. 눈과 코의 랜드마크도 추가하여 성능을 높였으나 포즈 랜드마크는 큰 도움이 되지 않았다. 프레임 간의 차이를 계산하는 Motion Feature(Lag 1, Lag 2)를 도입하여 동적인 움직임을 포착했다. 정규화는 코 위치에 해당하는 17번 랜드마크를 기준점으로 삼아 각 시퀀스를 표준화했다.
가변 길이 입력 처리와 마스킹
영상마다 프레임 수가 다르기 때문에 패딩(Padding)이나 보간(Interpolation) 대신 가변 길이를 직접 처리하는 방식을 택했다. 학습 시에는 최대 384프레임으로 패딩하지만, 추론 시에는 마스킹을 통해 실제 프레임만 계산하여 속도를 높였다. 1D-CNN 레이어에서 'causal' 패딩을 사용하여 미래 프레임 정보가 현재 계산에 영향을 주지 않도록 설계함으로써 학습과 추론 사이의 일관성을 유지했다.
모델 아키텍처 상세: 1D-CNN + Transformer
순수 1D-CNN만으로도 리더보드 0.80 수준의 높은 정확도를 달성했으나, 그 위에 Transformer 블록을 추가하여 성능을 더 개선했다. 전체 구조는 3개의 1D-CNN 블록과 1개의 Transformer 블록이 연결된 형태를 두 번 반복한다. 1D-CNN 블록은 MobileNet에서 제안된 Inverted Bottleneck 구조와 유사하며, Depthwise Convolution과 ECA(Efficient Channel Attention) 모듈을 사용하여 파라미터 효율성을 극대화했다.
학습 방법 및 규제 기법
모델을 처음부터 학습(Train from scratch)시켰으며, 과적합 방지를 위해 강력한 규제 기법을 적용했다. Stochastic Depth(Drop Path), 높은 비율의 Dropout(0.8), 그리고 가중치에 섭동을 주는 AWP(Adversarial Weight Perturbation)를 사용했다. 데이터 증강으로는 시간축 리샘플링, 랜덤 마스킹, 수평 뒤집기, 아핀 변환 등을 적용했다. Optimizer는 AdamW보다 성능이 좋았던 Rectified Adam(RAdam)과 Lookahead 조합을 선택했다.
경량화 모델 성능 및 결론
최종 제출된 단일 모델의 크기는 3.76MB로 매우 가벼우며, 영상당 약 15ms의 빠른 추론 속도를 기록했다. 앙상블 없이 단일 모델만으로도 프라이빗 리더보드 2위를 기록할 수 있는 성능을 보였다. GNN(Graph Neural Network)이나 지식 증류(Knowledge Distillation) 등 복잡한 기법도 시도했으나, 이 대회 데이터셋에서는 단순하고 견고한 1D-CNN 기반 접근이 가장 효과적이었다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 25.수집 2026. 02. 25.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
