LEAP - AI를 활용한 대기 물리학(ClimSim) 경진대회 1위 솔루션 발표 | AI Trends

LEAP - AI를 활용한 대기 물리학(ClimSim) 경진대회 1위 솔루션 발표

Squeezeformer 아키텍처와 AlphaFold의 Confidence Head 기법을 결합하여 기후 모델의 물리 상호작용을 효율적으로 에뮬레이션한 Kaggle 1위 솔루션이다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Squeezeformer 아키텍처를 기반으로 MAE 손실 함수와 AlphaFold에서 영감을 얻은 Confidence Head를 도입하여 예측 정확도와 신뢰성을 극대화했다. 데이터 엔지니어링 단계의 Soft-clipping과 보조 손실 함수 활용이 성능 향상에 결정적인 역할을 했다.

배경

기존 기후 모델의 복잡한 물리 상호작용을 저비용으로 모사하기 위한 ML 에뮬레이터 개발 경진대회인 LEAP-ClimSim의 우승자 발표 영상이다.

대상 독자

기후 과학 ML 연구자, Kaggle 상위권 솔루션 분석가, 시계열 및 물리 에뮬레이션 개발자

의미 / 영향

이 솔루션은 기후 모델링 분야에서 AI 에뮬레이터가 전통적인 수치 모델을 대체하거나 보완할 수 있는 실질적인 가능성을 제시했다. 특히 신뢰도 기반 예측 기법은 AI 모델의 불확실성을 정량화하여 실제 기후 정책 결정이나 시뮬레이션 신뢰도 확보에 기여할 수 있다. 저비용 고효율의 에뮬레이션 기술은 전 지구적 온난화 예측의 불확실성을 줄이는 데 핵심적인 역할을 할 것으로 기대된다.

챕터별 상세

00:00

발표자 배경 및 경진대회 개요

발표자 Shlomo Ron은 물리학 및 생물 물리학 배경을 가진 데이터 과학자로 약 1.5년의 Kaggle 경험을 보유하고 있다. 이번 경진대회는 기Climate 모델 내에서 발생하는 폭풍이나 난류와 같은 하위 격자 규모의 대기 과정을 ML 모델로 에뮬레이션하는 것이 목표였다. 물리적 상호작용을 근사화하여 기존 시뮬레이션 대비 계산 비용을 획기적으로 줄이는 것이 핵심 과제였다.

01:10

Squeezeformer 아키텍처 및 학습 환경

모델의 핵심 아키텍처로 Transformer와 1D Convolution을 결합한 Squeezeformer를 채택했다. Squeezeformer는 원래 Speech-to-Text 분야에서 제안된 구조이나 1차원 시계열 데이터 성격을 가진 대기 데이터 처리에도 매우 효과적임을 확인했다. 학습은 Kaggle과 Colab의 TPU 환경에서 진행되었으며 모델당 약 12시간에서 36시간의 학습 시간이 소요되었다.

Squeezeformer는 Transformer의 Attention 메커니즘과 Convolution의 지역적 특징 추출 능력을 결합하여 효율성을 높인 모델이다.

02:22

데이터 엔지니어링 및 전처리 전략

데이터의 다중 표현 방식을 도입하고 정규화 과정을 거쳐 모델에 입력했다. 특히 이상치로 인한 학습 불안정성을 방지하기 위해 피처와 고해상도 타겟 모두에 Soft-clipping 기법을 적용했다. Soft-clipping을 통해 최대값을 약 90 수준으로 제한함으로써 모델이 극단적인 값에 과도하게 반응하지 않도록 유도했다.

Soft-clipping은 하드 클리핑과 달리 경계값 근처에서 부드러운 곡선을 그리며 값을 제한하여 그래디언트 흐름을 유지하는 기법이다.

03:40

학습 방법론 및 손실 함수 설계

예측 헤드 부분에 Wide Swish 활성화 함수와 gluMLP 구조를 결합하여 성능을 개선했다. 손실 함수로는 MSE 대신 MAE(Mean Absolute Error)를 사용했을 때 성능 향상 폭이 가장 컸으며 이는 기후 데이터의 특성상 MAE가 더 적합했기 때문이다. 또한 위도, 경도, 시간 주기(sin/cos) 정보를 보조 손실 함수(Auxiliary Loss)로 추가하여 모델이 시공간적 맥락을 학습하도록 설계했다.

gluMLP는 Gated Linear Unit을 MLP에 적용한 구조로 정보의 흐름을 제어하는 게이팅 메커니즘을 포함한다.

06:36

AlphaFold 기반 Confidence Head 도입

Google의 AlphaFold 모델에서 영감을 얻은 Confidence Head를 도입하여 모델이 자신의 예측에 대한 확신도를 함께 출력하도록 했다. 이 기법은 단순한 예측을 넘어 모델이 불확실한 영역을 스스로 인지하게 함으로써 전체적인 스코어를 크게 개선하는 효과를 가져왔다. 실제 검증 과정에서 Confidence 수치가 낮은 예측값들이 실제 오차도 크다는 상관관계를 확인했다.

Confidence Head는 모델이 정답을 맞히는 것뿐만 아니라 자신의 예측이 얼마나 정확할지 스스로 평가하게 만드는 추가적인 출력 계층이다.

08:00

앙상블 전략 및 최종 결과 분석

최종적으로 13개의 모델을 앙상블하여 리더보드 1위를 달성했다. 고해상도 데이터를 포함한 앙상블 모델이 저해상도 모델 대비 약 0.0015점의 점수 향상을 기록하며 데이터 해상도의 중요성을 증명했다. Confidence Head를 적용한 모델이 미적용 모델 대비 유의미하게 높은 성능을 기록했으며 이는 복잡한 물리 현상 예측에서 신뢰도 기반 학습의 유효성을 보여준다.

실무 Takeaway

기후 데이터와 같은 물리 에뮬레이션에서는 MSE보다 MAE 손실 함수가 이상치에 덜 민감하여 더 나은 수렴 성능을 보인다
AlphaFold의 Confidence Head 기법은 도메인에 관계없이 모델의 예측 신뢰도를 평가하고 최적화하는 데 강력한 도구가 될 수 있다
Squeezeformer와 같이 타 도메인(음성 인식)에서 검증된 효율적인 아키텍처를 시계열 물리 데이터에 적용하는 전략이 유효하다
Soft-clipping을 통한 데이터 정규화는 물리 법칙의 극단적인 수치 변화 속에서도 안정적인 학습을 가능하게 한다

언급된 리소스

DemoLEAP - Atmospheric Physics using AI (ClimSim) Competition

논문Squeezeformer: An Efficient Transformer for Automatic Speech Recognition

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 02. 26.수집 2026. 02. 26.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.