핵심 요약
전통적인 물리 시뮬레이션의 높은 계산 비용을 해결하기 위해 Squeezeformer 아키텍처를 도입하고, Confidence Head와 보조 손실 함수를 통해 예측 정확도를 극대화했습니다.
배경
기후 모델 내 소규모 대기 프로세스인 폭풍과 난류 등을 머신러닝으로 에뮬레이션하여 계산 비용을 줄이는 LEAP 경진대회의 우승자 발표 영상입니다.
대상 독자
기상/환경 AI 연구자, 시계열 데이터 처리 관심 개발자, Kaggle 참가자
의미 / 영향
전통적인 수치 예보 모델의 막대한 연산량을 딥러닝 에뮬레이터로 대체하여 기후 시뮬레이션 속도를 비약적으로 높일 수 있음을 입증했습니다. 특히 Confidence Head를 통한 예측 신뢰도 확보는 물리 기반 AI 모델을 실제 기상 예측 시스템에 도입할 때 발생할 수 있는 불확실성 문제를 해결하는 핵심 실마리를 제공합니다.
챕터별 상세
00:00
배경 및 자기소개
발표자 Shlomo Ron은 생물물리학 전공자로 Kaggle 경력이 약 1.5년이며 이번 대회와 유사한 1차원 대규모 데이터 처리 경험이 풍부하다. 기상학에 대한 깊은 배경지식은 없었으나 데이터 중심의 접근 방식으로 우승을 차지했다. 이번 대회는 기후 모델의 하위 격자 규모 물리 현상을 머신러닝으로 근사하는 것이 핵심 과제였다.
- •생물물리학 전공 기반의 데이터 중심 접근
- •1차원 대규모 데이터 처리 경험 활용
- •기상 물리 현상의 머신러닝 에뮬레이션 과제 수행
01:10
모델 아키텍처: Squeezeformer
Transformer와 1D Convolution을 결합한 Squeezeformer를 주 모델로 채택했다. 원래 음성 인식(Speech-to-Text)용으로 개발된 구조이나 이전 Kaggle 대회들에서 성능이 검증되어 이번 물리 데이터 에뮬레이션에도 적용했다. Kaggle과 Colab의 TPU 환경에서 학습을 진행했으며 모델당 약 12시간에서 36시간의 학습 시간이 소요됐다.
- •Transformer와 1D Convolution의 결합 구조
- •음성 인식 기술의 물리 데이터 처리 이식
- •TPU를 활용한 효율적인 대규모 모델 학습
Squeezeformer는 Transformer의 효율성을 개선한 구조로 긴 시퀀스 데이터를 처리할 때 연산량을 줄이면서도 지역적 특징(Convolution)과 전역적 특징(Attention)을 모두 포착합니다.
02:21
데이터 엔지니어링 및 전처리
데이터 표현 방식을 다양화하고 정규화를 수행했다. 특히 수천 단위의 극단적인 값을 제어하기 위해 Soft-clipping 기법을 도입했다. 입력 피처는 최대 90 내외로 제한했고 타겟 값 역시 적절히 제한하여 학습 안정성을 확보했다. 이러한 전처리는 모델이 이상치에 휘둘리지 않고 핵심 패턴을 학습하는 데 기여했다.
- •다양한 데이터 표현 및 정규화 적용
- •Soft-clipping을 통한 극단적 이상치 제어
- •학습 안정성 확보를 위한 타겟 값 범위 제한
Soft-clipping은 극단적인 이상치(Outlier)가 학습을 방해하지 않도록 값을 부드럽게 제한하는 기법으로 물리 데이터의 넓은 범위를 다룰 때 유용합니다.
03:40
학습 방법론 및 손실 함수
MAE(Mean Absolute Error) 손실 함수를 사용했으며 이는 MSE보다 훨씬 나은 결과를 보였다. 위도, 경도, 시간 주기(sin/cos) 등을 활용한 보조 손실(Auxiliary Loss)을 추가하여 지리적 및 시간적 맥락을 학습에 반영했다. 또한 Google AlphaFold에서 영감을 얻은 Confidence Head를 추가하여 모델이 자신의 예측 정확도를 스스로 판단하게 했다.
- •MSE 대비 성능이 우수한 MAE 손실 함수 채택
- •지리 및 시간 정보를 활용한 보조 손실 함수 설계
- •AlphaFold 기법을 벤치마킹한 Confidence Head 도입
07:50
앙상블 전략 및 결과
총 13개의 모델을 앙상블하여 최종 스코어를 달성했다. 고해상도(High-res) 데이터를 포함한 앙상블이 저해상도만 사용했을 때보다 약 0.0015점의 유의미한 점수 향상을 가져왔다. 개별 모델의 성능 편차를 줄이고 일반화 성능을 높이기 위해 다양한 설정의 모델들을 조합하는 방식을 사용했다.
- •13개 모델 조합을 통한 최종 성능 극대화
- •고해상도 데이터 활용에 따른 점수 향상 확인
- •모델 다양성 확보를 통한 일반화 성능 개선
09:02
주요 발견: Confidence Head의 효과
Confidence Head 유무에 따라 점수 차이가 확연히 나타났다. 모델이 예측값뿐만 아니라 그 예측의 확신도를 함께 출력하게 함으로써 불확실성이 높은 예측을 식별할 수 있었다. 실제 검증 과정에서 확신도가 낮은 데이터를 제외할수록 메트릭 점수가 상승하는 상관관계를 확인했으며 이는 물리 기반 AI 모델의 신뢰도를 높이는 데 핵심적인 역할을 했다.
- •예측 확신도 출력을 통한 불확실성 식별
- •확신도와 메트릭 점수 간의 강한 상관관계 확인
- •물리 시뮬레이션 대체 모델의 신뢰성 검증 도구로 활용
실무 Takeaway
- 도메인 지식이 부족하더라도 데이터의 특성인 1D 시퀀스에 맞는 아키텍처를 선정하는 것이 중요합니다.
- 물리 데이터의 극단적인 수치를 다룰 때는 Soft-clipping과 같은 전처리가 모델 안정성에 필수적입니다.
- AlphaFold와 같이 타 분야에서 성공한 기법을 자신의 문제에 맞게 벤치마킹하는 것이 효과적입니다.
- 모델의 예측 확신도를 함께 학습시키는 Confidence Head는 물리 에뮬레이션의 신뢰도를 높이는 강력한 도구입니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료