TESSERA v2: 픽셀 단위 지구관측 파운데이션 모델의 스케일링 법칙과 Matryoshka 증류

왜 중요한가

지구관측 분석에서 원시 영상 전처리와 라벨 확보가 비용과 시간의 병목이다. 임베딩을 '데이터로서' 제공하면 사용자가 로컬에서 백본을 돌릴 필요 없이 경량 헤드만으로 다양한 다운스트림 작업을 수행할 수 있어 실무 비용이 크게 줄어든다. 이 논문은 대규모 통제 실험을 통해 어떤 방식으로 프리트레인 예산을 배분해야 실사용 성능을 최적화할 수 있는지 경험적 규칙을 제시해 임베딩 제품화의 비용-성능 설계를 단순화했다.

핵심 기여

다운스트림 기반 스케일링 스위프와 예산 배분 규칙

395회의 통제된 프리트레인 실험을 통해 프리트레인 손실이 다운스트림 성능의 좋은 지표가 아님이 확인되었다. 실험 결과는 계산 예산을 인코더 파라미터와 학습 데이터에 할당하고 프로젝터 크기는 고정하는 규칙을 도출했다. 이 규칙을 통해 손실 기준 선택 대비 약 254%의 불필요한 계산을 회피할 수 있음이 산출되었다.

대규모 픽셀 단위 교사 모델과 Matryoshka 학생 계열

규칙을 따라 1B 규모의 교사 인코더를 학습한 뒤 이를 44M/21M/7M/1M 크기의 학생 모델로 증류했다. 각 학생은 128차원 임베딩을 생성하되 Matryoshka 접두어로 16,32,64,128 차원 뷰를 제공해 저장·I/O 비용을 조절할 수 있다. 증류로 얻은 학생군은 여러 공개·상용 임베딩 제품보다 전체 29개 태스크 집합에서 우수한 성능을 기록했다.

Matryoshka 좌표 고정은 증류를 통해 실현됨

자기지도 손실만으로는 표현공간이 회전불변이어서 접두어(프리픽스)의 의미가 보장되지 않는다. 교사의 고정된 표현을 목표로 하는 증류 손실을 사용하면 접두어마다 교사 임베딩을 재구성하도록 학습되어 낮은 차원 프리픽스가 유용한 코드가 된다. 이 방법은 임베딩 차원 수를 재학습 없이 제어하는 실용적 메커니즘을 제공한다.

배포 효율을 고려한 적응형 추론과 GeoTessera 제공

추론 단계에서는 지역별 관측수에 따라 가장 작은 고정 길이 버킷을 선택하고 잔여 슬롯을 중간값 리샘플링으로 채운다. 이 방식은 관측 밀도가 다른 지역에서 정보를 폐기하지 않으면서 배치 효율을 유지하게 한다. 학습된 학생들은 GeoTessera를 통해 연간 임베딩 필드로 제공되어 사용자가 분석용 헤드만 학습하면 되도록 설계되었다.

핵심 아이디어 이해하기

픽셀 단위 EO 시계열은 구름과 불규칙한 관측 때문에 잡음과 관측 편향이 크고, 자기지도 손실은 이러한 불필요한 불변성을 축으로 최소화될 수 있어 다운스트림 가치와 불일치가 생긴다. 따라서 프리트레인 손실만으로 모델을 선택하면 실제 태스크 성능을 보장하지 못하고 계산 자원을 낭비하는 경향이 발견되었다. 이 관찰에서 출발해 다운스트림 성능을 직접 목표로 하는 스케일링 스위프를 수행하면 예산 배분의 실무적 규칙을 학습할 수 있다는 직관이 본 논문의 출발점이다.

방법론

전체 접근은 아키텍처를 고정한 뒤 인코더 폭, 프로젝터 폭, 학습 데이터 양을 격자식으로 변화시키며 동일한 FLOP 축에서 각 예산의 계산 최적점을 찾는 방식이다. 각 예산 구간에서 로그 스케일의 N에 대해 2차 곡선을 적합하고 그 정점(vertex)을 계산-최적 크기로 취하였으며 모든 실험은 동일한 Barlow Twins d-픽셀 패밀리를 사용해 비교 가능성을 확보했다. 다운스트림 평가는 15개 AlphaEarth 태스크에 대해 확률 보정된 지표를 사용해 합성 점수를 만들었고, 이 합성 점수를 기준으로 손실-선택과 성능-선택의 차이를 정량화했다. 교사 모델은 다중 모달(광학+SAR) dual-branch Transformer 인코더로 구성되며, 학습 시에 길이 L을 {8,16}에서 무작위로 샘플해 희소 시계열로부터 연간 페놀로지를 복원하도록 강제했다.

주요 결과

스위프 결과 프리트레인 손실과 다운스트림 합성 점수의 상관은 거의 무시할 수 있어(피어슨 r≈−0.18) 손실 최적 선택은 비효율적이라는 결론이 나왔다. 파워법칙 적합 결과 인코더의 계산-최적 정점은 C^{0.36}으로 스케일하고 데이터 요구량은 C^{0.63}으로 스케일했으며 프로젝터 정점은 C^{0.00}으로 통계적으로 무의미했다. 최종 제품 계열에서 TESSERA v2-1B-M의 29태스크 합성 점수는 0.611로 비교 대상 공개·비공개 시스템을 앞섰고, 16차원 프리픽스는 128차원 대비 약 92%의 성능을 유지해 저장 비용을 1/8로 줄이는 데 성공했다.

기술 상세

아키텍처는 두 개의 modality별 Transformer 인코더(각각 4층)를 통해 가변 길이 시계열을 임베딩하고, 학습 시에는 learned attention pooling으로 시퀀스를 집계한 뒤 두 모달리티 토큰을 2층의 fusion Transformer로 결합해 최종 교사 임베딩 t∈ℝ^{d_T}을 얻는다. 교사 차원 d_T은 768로 학생의 128보다 크게 설정되어 압축 여지를 남기며 프로젝트 단계에서는 배치 정규화가 적용된다. 학습 목표로는 Barlow Twins 손실에 mix-up 기반 일관성 정규화가 추가되며, 각 스텝에서 뷰 길이를 무작위로 선택해 희소 관측에서도 연간 페놀로지를 회복하는 능력을 키웠다. 수식 원문 하나는 C = 12 D (N_enc L_ref + N_proj)이다. 여기서 C는 총 계산량(FLOPs) 축을 나타내며 D는 학습에 사용된 d-픽셀 수, N_enc는 인코더 파라미터 수(밀도 척도), L_ref는 기준 연간 시퀀스 길이(논문에서 240), N_proj는 프로젝터 파라미터 수를 뜻한다. 계산 흐름은 D와 모델 크기(N_enc, N_proj)를 넣어 연간 연산 예산을 산출하는 것으로, 예를 들어 D=1e9, N_enc=100M, N_proj=10M, L_ref=240이면 C≈12×1e9×(100e6×240+10e6)으로 매우 큰 값이 됨을 보인다. 해석은 이 식이 인코더와 데이터 곱이 계산을 지배한다는 점을 수식적으로 드러내며, 따라서 동일한 C에서 N_enc와 D의 배분을 조정하는 것이 핵심이라는 점을 명확히 한다. 또 다른 핵심 수식은 증류 손실 ℒ_DIST(s,t)=∑{k∈K} (1−cos(h_k(s{1:k}), t))이다. 이 식에서 s는 학생 임베딩, t는 고정된 교사 임베딩, K={16,32,64,128}은 평가할 접두어 집합, h_k는 k차원 학생 접두어를 교사 공간으로 선형 사상하는 헤드이다. 계산 흐름은 각 접두어를 교사 임베딩과 코사인 유사도로 비교해 1에서 유사도를 빼는 값을 합산하고 이를 최소화하는 방향으로 학생을 최적화하는 것이다. 작은 예로 s_{1:16}과 t의 코사인 유사도가 0.92라면 접두어 기여 항은 0.08이 되어 총 손실에 더해지며, 이 항들이 낮아지면 접두어가 교사 표현을 더 잘 복원한다. 학습 인프라 측면에서 교사는 약 4.2B d-픽셀을 단일 epoch로 학습했고 전파는 FSDP와 bf16을 사용해 512 GPU에서 수행되었으며 증류는 약 200M d-픽셀을 64 GPU로 처리해 학생을 얻었다. 추론 비용은 인코더 파라미터수 N(백만 단위)에 대해 GPUy(N)≈0.041 N^{1.03} H100-년으로 근사되며, 1B 교사는 글로벌 패스당 약 50 H100년을 요구한 반면 학생군은 0.04~2 H100년 범위로 두 자릿수 절감이 이뤄진다.

한계점

스케일링 법칙은 픽셀 단위 Sentinel-1/2 인코더와 Barlow Twins 목표에 한정되어 있으며 다른 아키텍처나 자기지도 목표에 일반화될 수 있는지는 불확실하다. 계산 비용이 큰 교사 학습이 필요하므로 자원이 제한된 연구자는 동일한 수치를 재현하기 어렵다. 평가 데이터셋은 상대적으로 잘 연구된 지역에 치우쳐 있어 저대표성 기후나 미검증 시즌으로의 일반화 여부는 추가 평가가 필요하다.

실무 활용

연간 픽셀 단위 임베딩을 다운로드해 경량 헤드로 여러 다운스트림 작업을 학습하는 워크플로에서 유용성이 크다. GeoTessera 형식으로 제공되는 임베딩은 사용자가 원시 영상 전처리·정합·클라우드 정교화 등 비용을 부담할 필요를 없애며 라벨이 적은 상황에서 효율적이다. Matryoshka 접두어로 저장·전송 비용을 조절할 수 있어 엔지니어링 제약에 맞춘 배포가 가능하다.

지역별 작물 분류와 작황 맵핑에서 연간 임베딩을 입력으로 경량 MLP만 학습해 빠른 반복 실험을 수행하는 경우
저라벨 환경에서 수확량 추정 또는 생물량 회귀를 위한 사전학습된 임베딩을 전처리 없이 바로 사용해 라벨 효율을 높이는 경우
지속적 변화탐지에서 연속 연도 간 코사인 거리를 계산해 이상 징후를 검출하고 복구·복원 정책의 우선순위를 결정하는 경우
클라우드가 자주 발생하는 지역에서 SAR+광학 융합 임베딩으로 기후·토지피복 연구를 수행하는 경우

코드 공개 여부: 공개

코드 저장소 보기

키워드

pixel-wise embedding(픽셀 단위 임베딩)Barlow Twins(중복 제거 자기지도)distillation(증류)Matryoshka(중첩 임베딩)scaling law(스케일링 법칙)

용어 해설

픽셀 단위 임베딩(Pixel-wise embedding): — 픽셀 단위 임베딩은 지구관측 영상의 각 10m 픽셀에 대해 연간 또는 시계열 정보를 압축한 벡터 표현이다. 각 벡터는 해당 위치의 다중 센서 관측(예: Sentinel-1 SAR, Sentinel-2 광학)을 융합해 생성되며, downstream 분류·회귀·변화탐지 작업에서 입력 데이터로 바로 사용된다. 저장과 I/O 비용이 임베딩 차원에 비례하므로 저차원 뷰를 제공하는 것이 실무적 효용을 높인다.
Barlow Twins(중복 제거 자기지도)(Barlow Twins): — Barlow Twins는 두 뷰의 표현 간 상관을 줄여 중복 정보를 제거하는 자기지도 학습 목표이다. 뷰 쌍의 교차상관 행렬을 단위행렬에 가깝게 만들도록 손실을 최소화하며, 이는 표현의 정보 중복을 억제해 일반화에 유리한 특성을 만든다. 다만 관측 소음이나 구름 같은 EO 특성에서는 손실 최소화가 다운스트림 유틸리티와 비례하지 않을 수 있다.
Matryoshka 중첩 임베딩(Matryoshka representation): — Matryoshka 중첩 임베딩은 하나의 임베딩에서 앞부분(prefix)을 잘라서 서로 다른 차원 수의 표현을 얻는 방식이다. 적절한 좌표정렬이 확보되면 16·32·64·128차원을 같은 임베딩으로부터 즉시 선택해 저장·전송 비용을 조절할 수 있다. 자기지도만으로는 좌표 순서가 회전에 대해 불안정하므로 교사 모델에 대한 증류로 순서를 고정해야 한다.
적응형 버킷 샘플링(Adaptive bucket sampling): — 적응형 버킷 샘플링은 픽셀별로 유효 관측수 k에 따라 가장 작은 고정 길이 버킷을 선택해 배치 효율을 유지하는 전략이다. 잔여 슬롯은 연도 중앙 시점 보간(중간값 리샘플링)으로 채워서 정보 손실을 줄인다. 이 방법은 지역별 관측 밀도 차이를 배치 처리 효율과 무관하게 다룰 수 있게 한다.

TESSERA v2: 픽셀 단위 지구관측 파운데이션 모델의 스케일링 법칙과 Matryoshka 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

좁은 반복 업무에서 4B와 72B의 성능 격차

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

좁은 반복 업무에서 4B와 72B의 성능 격차