챕터별 상세
00:00
발표자 배경 및 경진대회 개요
발표자 Shlomo Ron은 물리학 및 생물 물리학 배경을 가진 데이터 과학자로 약 1.5년의 Kaggle 경험을 보유하고 있다. 이번 경진대회는 기Climate 모델 내에서 발생하는 폭풍이나 난류와 같은 하위 격자 규모의 대기 과정을 ML 모델로 에뮬레이션하는 것이 목표였다. 물리적 상호작용을 근사화하여 기존 시뮬레이션 대비 계산 비용을 획기적으로 줄이는 것이 핵심 과제였다.
01:10
Squeezeformer 아키텍처 및 학습 환경
모델의 핵심 아키텍처로 Transformer와 1D Convolution을 결합한 Squeezeformer를 채택했다. Squeezeformer는 원래 Speech-to-Text 분야에서 제안된 구조이나 1차원 시계열 데이터 성격을 가진 대기 데이터 처리에도 매우 효과적임을 확인했다. 학습은 Kaggle과 Colab의 TPU 환경에서 진행되었으며 모델당 약 12시간에서 36시간의 학습 시간이 소요되었다.
Squeezeformer는 Transformer의 Attention 메커니즘과 Convolution의 지역적 특징 추출 능력을 결합하여 효율성을 높인 모델이다.
02:22
데이터 엔지니어링 및 전처리 전략
데이터의 다중 표현 방식을 도입하고 정규화 과정을 거쳐 모델에 입력했다. 특히 이상치로 인한 학습 불안정성을 방지하기 위해 피처와 고해상도 타겟 모두에 Soft-clipping 기법을 적용했다. Soft-clipping을 통해 최대값을 약 90 수준으로 제한함으로써 모델이 극단적인 값에 과도하게 반응하지 않도록 유도했다.
Soft-clipping은 하드 클리핑과 달리 경계값 근처에서 부드러운 곡선을 그리며 값을 제한하여 그래디언트 흐름을 유지하는 기법이다.
03:40
학습 방법론 및 손실 함수 설계
예측 헤드 부분에 Wide Swish 활성화 함수와 gluMLP 구조를 결합하여 성능을 개선했다. 손실 함수로는 MSE 대신 MAE(Mean Absolute Error)를 사용했을 때 성능 향상 폭이 가장 컸으며 이는 기후 데이터의 특성상 MAE가 더 적합했기 때문이다. 또한 위도, 경도, 시간 주기(sin/cos) 정보를 보조 손실 함수(Auxiliary Loss)로 추가하여 모델이 시공간적 맥락을 학습하도록 설계했다.
gluMLP는 Gated Linear Unit을 MLP에 적용한 구조로 정보의 흐름을 제어하는 게이팅 메커니즘을 포함한다.
06:36
AlphaFold 기반 Confidence Head 도입
Google의 AlphaFold 모델에서 영감을 얻은 Confidence Head를 도입하여 모델이 자신의 예측에 대한 확신도를 함께 출력하도록 했다. 이 기법은 단순한 예측을 넘어 모델이 불확실한 영역을 스스로 인지하게 함으로써 전체적인 스코어를 크게 개선하는 효과를 가져왔다. 실제 검증 과정에서 Confidence 수치가 낮은 예측값들이 실제 오차도 크다는 상관관계를 확인했다.
Confidence Head는 모델이 정답을 맞히는 것뿐만 아니라 자신의 예측이 얼마나 정확할지 스스로 평가하게 만드는 추가적인 출력 계층이다.
08:00
앙상블 전략 및 최종 결과 분석
최종적으로 13개의 모델을 앙상블하여 리더보드 1위를 달성했다. 고해상도 데이터를 포함한 앙상블 모델이 저해상도 모델 대비 약 0.0015점의 점수 향상을 기록하며 데이터 해상도의 중요성을 증명했다. Confidence Head를 적용한 모델이 미적용 모델 대비 유의미하게 높은 성능을 기록했으며 이는 복잡한 물리 현상 예측에서 신뢰도 기반 학습의 유효성을 보여준다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 26.수집 2026. 02. 26.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
