TESSERA v2: 픽셀 단위 지구관측 파운데이션 모델의 스케일링 법칙과 Matryoshka 증류

지구관측 분석에서 원시 영상 전처리와 라벨 확보가 비용과 시간의 병목이다. 임베딩을 '데이터로서' 제공하면 사용자가 로컬에서 백본을 돌릴 필요 없이 경량 헤드만으로 다양한 다운스트림 작업을 수행할 수 있어 실무 비용이 크게 줄어든다. 이 논문은 대규모 통제 실험을 통해 어떤 방식으로 프리트레인 예산을 배분해야 실사용 성능을 최적화할 수 있는지 경험적 규칙을 제시해 임베딩 제품화의 비용-성능 설계를 단순화했다.

픽셀 단위 EO 시계열은 구름과 불규칙한 관측 때문에 잡음과 관측 편향이 크고, 자기지도 손실은 이러한 불필요한 불변성을 축으로 최소화될 수 있어 다운스트림 가치와 불일치가 생긴다. 따라서 프리트레인 손실만으로 모델을 선택하면 실제 태스크 성능을 보장하지 못하고 계산 자원을 낭비하는 경향이 발견되었다. 이 관찰에서 출발해 다운스트림 성능을 직접 목표로 하는 스케일링 스위프를 수행하면 예산 배분의 실무적 규칙을 학습할 수 있다는 직관이 본 논문의 출발점이다.

전체 접근은 아키텍처를 고정한 뒤 인코더 폭, 프로젝터 폭, 학습 데이터 양을 격자식으로 변화시키며 동일한 FLOP 축에서 각 예산의 계산 최적점을 찾는 방식이다. 각 예산 구간에서 로그 스케일의 N에 대해 2차 곡선을 적합하고 그 정점(vertex)을 계산-최적 크기로 취하였으며 모든 실험은 동일한 Barlow Twins d-픽셀 패밀리를 사용해 비교 가능성을 확보했다. 다운스트림 평가는 15개 AlphaEarth 태스크에 대해 확률 보정된 지표를 사용해 합성 점수를 만들었고, 이 합성 점수를 기준으로 손실-선택과 성능-선택의 차이를 정량화했다. 교사 모델은 다중 모달(광학+SAR) dual-branch Transformer 인코더로 구성되며, 학습 시에 길이 L을 {8,16}에서 무작위로 샘플해 희소 시계열로부터 연간 페놀로지를 복원하도록 강제했다.

스위프 결과 프리트레인 손실과 다운스트림 합성 점수의 상관은 거의 무시할 수 있어(피어슨 r≈−0.18) 손실 최적 선택은 비효율적이라는 결론이 나왔다. 파워법칙 적합 결과 인코더의 계산-최적 정점은 C^{0.36}으로 스케일하고 데이터 요구량은 C^{0.63}으로 스케일했으며 프로젝터 정점은 C^{0.00}으로 통계적으로 무의미했다. 최종 제품 계열에서 TESSERA v2-1B-M의 29태스크 합성 점수는 0.611로 비교 대상 공개·비공개 시스템을 앞섰고, 16차원 프리픽스는 128차원 대비 약 92%의 성능을 유지해 저장 비용을 1/8로 줄이는 데 성공했다.

아키텍처는 두 개의 modality별 Transformer 인코더(각각 4층)를 통해 가변 길이 시계열을 임베딩하고, 학습 시에는 learned attention pooling으로 시퀀스를 집계한 뒤 두 모달리티 토큰을 2층의 fusion Transformer로 결합해 최종 교사 임베딩 t∈ℝ^{d_T}을 얻는다. 교사 차원 d_T은 768로 학생의 128보다 크게 설정되어 압축 여지를 남기며 프로젝트 단계에서는 배치 정규화가 적용된다. 학습 목표로는 Barlow Twins 손실에 mix-up 기반 일관성 정규화가 추가되며, 각 스텝에서 뷰 길이를 무작위로 선택해 희소 관측에서도 연간 페놀로지를 회복하는 능력을 키웠다. 수식 원문 하나는 C = 12 D (N_enc L_ref + N_proj)이다. 여기서 C는 총 계산량(FLOPs) 축을 나타내며 D는 학습에 사용된 d-픽셀 수, N_enc는 인코더 파라미터 수(밀도 척도), L_ref는 기준 연간 시퀀스 길이(논문에서 240), N_proj는 프로젝터 파라미터 수를 뜻한다. 계산 흐름은 D와 모델 크기(N_enc, N_proj)를 넣어 연간 연산 예산을 산출하는 것으로, 예를 들어 D=1e9, N_enc=100M, N_proj=10M, L_ref=240이면 C≈12×1e9×(100e6×240+10e6)으로 매우 큰 값이 됨을 보인다. 해석은 이 식이 인코더와 데이터 곱이 계산을 지배한다는 점을 수식적으로 드러내며, 따라서 동일한 C에서 N_enc와 D의 배분을 조정하는 것이 핵심이라는 점을 명확히 한다. 또 다른 핵심 수식은 증류 손실 ℒ_DIST(s,t)=∑{k∈K} (1−cos(h_k(s{1:k}), t))이다. 이 식에서 s는 학생 임베딩, t는 고정된 교사 임베딩, K={16,32,64,128}은 평가할 접두어 집합, h_k는 k차원 학생 접두어를 교사 공간으로 선형 사상하는 헤드이다. 계산 흐름은 각 접두어를 교사 임베딩과 코사인 유사도로 비교해 1에서 유사도를 빼는 값을 합산하고 이를 최소화하는 방향으로 학생을 최적화하는 것이다. 작은 예로 s_{1:16}과 t의 코사인 유사도가 0.92라면 접두어 기여 항은 0.08이 되어 총 손실에 더해지며, 이 항들이 낮아지면 접두어가 교사 표현을 더 잘 복원한다. 학습 인프라 측면에서 교사는 약 4.2B d-픽셀을 단일 epoch로 학습했고 전파는 FSDP와 bf16을 사용해 512 GPU에서 수행되었으며 증류는 약 200M d-픽셀을 64 GPU로 처리해 학생을 얻었다. 추론 비용은 인코더 파라미터수 N(백만 단위)에 대해 GPUy(N)≈0.041 N^{1.03} H100-년으로 근사되며, 1B 교사는 글로벌 패스당 약 50 H100년을 요구한 반면 학생군은 0.04~2 H100년 범위로 두 자릿수 절감이 이뤄진다.

스케일링 법칙은 픽셀 단위 Sentinel-1/2 인코더와 Barlow Twins 목표에 한정되어 있으며 다른 아키텍처나 자기지도 목표에 일반화될 수 있는지는 불확실하다. 계산 비용이 큰 교사 학습이 필요하므로 자원이 제한된 연구자는 동일한 수치를 재현하기 어렵다. 평가 데이터셋은 상대적으로 잘 연구된 지역에 치우쳐 있어 저대표성 기후나 미검증 시즌으로의 일반화 여부는 추가 평가가 필요하다.