Yale/UNC-CH 지구물리학적 파형 역산 경진대회 1위 솔루션 분석

• •5개 채널을 공간적으로 결합하여 1000x350 크기의 이미지 데이터 생성
• •EVA02-Small ViT 모델을 활용한 초기 베이스라인 구축
• •40 에포크 학습으로 MAE 30 달성

파형 데이터를 이미지처럼 처리하기 위해 채널을 공간적으로 재배치하는 전처리가 수행됐다.

• •UNet 등 기존 디코더 대신 두 개의 ViT를 연결한 Encoder-Decoder 구조 채택
• •단순 스케일업보다 효율적인 성능 향상 확인
• •MAE 수치를 30에서 28로 개선

일반적인 컴퓨터 비전 작업과 달리 파형 역산 데이터는 픽셀 간의 공간적 정렬이 달라 특수한 디코더 구조가 필요하다.

• •EVA 모델의 성능 우위 원인이 RoPE임을 실험적으로 증명
• •절대적 위치 임베딩을 RoPE로 대체하여 공간적 관계 학습 능력 강화
• •인코더와 디코더 모두에 RoPE를 통합한 최종 모델 설계

RoPE는 주로 LLM에서 문맥 길이를 확장하기 위해 쓰이지만, 비전 분야에서도 상대적 위치 파악 능력을 높이는 데 기여한다.

• •350x350에서 700x700까지 단계적으로 이미지 크기를 키우는 학습 전략
• •EMA와 TTA를 통한 모델 예측의 안정성 및 정확도 확보
• •MAE 16.21 수준까지 성능 도달

Progressive Resizing은 학습 초기에는 작은 이미지로 빠르게 학습하고, 후반부에는 큰 이미지로 정밀도를 높이는 기법이다.

• •Five Crop 및 Random Affine 변환으로 데이터 10배 증강
• •470만 개의 합성 데이터셋 구축 및 사전 학습 수행
• •MAE 수치를 11.77로 대폭 하락

물리 법칙을 이용한 시뮬레이션(Forward Modeling)을 통해 실제 데이터와 유사한 가상 데이터를 대량으로 생성했다.

• •테스트 및 검증 데이터에 대한 모델 예측값을 의사 라벨로 활용
• •매 에포크마다 새로운 합성 데이터를 생성하여 학습에 추가하는 반복 루프
• •MAE 7.94 달성으로 최상위권 진입

모델이 예측한 결과물을 다시 입력 데이터 생성의 기초로 사용하는 피드백 루프를 구축한 것이다.

• •4가지 핵심 패턴에 하이퍼 포커싱한 전문가 모델 추가 학습
• •일반 모델과 전문가 모델의 예측값을 결합하는 최종 블렌딩
• •최종 MAE 7.5로 경진대회 1위 확정

모든 데이터를 학습하는 일반 모델과 특정 어려운 케이스에 집중하는 전문가 모델을 조합하여 성능을 극대화했다.