OlmoEarth 임베딩을 Studio에서 내보내다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

OlmoEarth Studio가 OlmoEarth foundation model의 지구관측 임베딩을 사용자가 지정한 영역과 기간에 맞춰 계산하고 COG로 내보내는 기능을 공개했습니다. 사용자는 128차원 Nano부터 768차원 Base까지 encoder를 선택하고 Sentinel-2 L2A와 Sentinel-1 RTC, 월별 또는 연간 기간, 10미터부터 80미터까지의 해상도를 조합할 수 있습니다. 내보낸 임베딩은 코사인 유사도 검색, 60개 라벨 픽셀을 이용한 토지 피복 분류, 두 시점의 변화 탐지, PCA 기반 비지도 탐색에 활용됐으며, Ca Mau 분류에서 weighted F1 0.84를 기록했습니다. 다만 결과 품질은 구름, 대기 이상, 관측 누락 같은 입력 영상 조건에 좌우되며 더 높은 성능이 필요하면 SFT를 적용할 수 있습니다.

섹션별 상세

OlmoEarth Studio가 OlmoEarth foundation model이 생성한 지구관측 임베딩 벡터를 계산하고 내보내는 기능을 추가했습니다. 사용자는 관심 영역과 기간, encoder variant, 공간 해상도, 영상 소스를 선택한 뒤 결과를 Cloud-Optimized GeoTIFF로 받을 수 있습니다. 공개된 소스 코드와 모델 가중치, 연구 논문을 함께 활용할 수 있어 임베딩 생성 과정을 확인하고 직접 계산하는 경로도 열려 있습니다.

숫자 벡터로 표현된 임베딩 값이 지구상의 여러 위치와 연결된 개념도입니다. — Diagram이미지는 지구관측 데이터의 각 위치가 여러 숫자로 이루어진 벡터로 변환되고, 이 벡터가 지도상의 위치와 대응하는 구조를 나타냅니다. 기사에서 설명한 OlmoEarth 임베딩은 표면 특성이 비슷한 위치에 유사한 벡터를 할당해 검색과 분류 같은 후속 작업의 입력으로 사용됩니다.

전 세계 육지 픽셀을 15개 k-means cluster 색상으로 표시한 OlmoEarth 임베딩 지도입니다. — Chart지도는 PCA로 축소한 임베딩 공간에서 15개 k-means cluster를 계산한 뒤 각 육지 픽셀에 색상을 부여한 결과입니다. 대륙별 색상 패턴이 생태계와 land-cover 구조를 따라 이어져 임베딩이 전 지구적 지표면 특성을 공간적으로 정리하는 방식을 나타냅니다.

Studio는 입력 조건에 맞춰 지구관측 영상을 수집하고 타일링한 뒤 임베딩을 생성합니다. 기간은 1개월부터 12개월까지, 해상도는 픽셀당 10·20·40·80미터까지 선택할 수 있으며 Sentinel-2 L2A, Sentinel-1 RTC 또는 두 소스를 함께 사용할 수 있습니다. Nano는 128차원과 1.4M parameters, Tiny는 192차원과 6.2M parameters, Base는 768차원과 89M parameters를 사용하므로 계산량과 저장 공간에 따라 encoder를 고를 수 있습니다.

동일한 임베딩 래스터를 서로 다른 밴드 조합으로 색상화한 네 가지 false-color 이미지입니다. — Infographic각 패널은 같은 임베딩 래스터의 차원 또는 밴드를 서로 다른 색상에 매핑해 시각화한 결과입니다. 원본 벡터 값 자체는 같아도 시각화 방식에 따라 공간 패턴이 달라지므로, 임베딩을 탐색할 때 색상 매핑이 해석에 영향을 줌을 나타냅니다.

근거

OlmoEarth Studio는 관심 영역, 기간, encoder variant, 해상도, 영상 소스를 지정해 임베딩 COG를 생성한다. — Computing embeddings in Studio 섹션의 매개변수 목록과 COG 저장 형식 설명 출처

OlmoEarth-v1-Tiny의 임베딩은 기준 위치와 비슷한 지표면을 찾는 similarity search에 활용됩니다. Merced 도심 인근 픽셀의 벡터와 전체 픽셀의 코사인 유사도를 비교하면 도시 조직과 도로가 높은 유사도 영역으로 묶이고 농경지는 어두운 영역으로 남습니다. 농업 지역을 기준으로 삼은 별도 실험에서는 irrigated field를 포함한 농경지 패치가 0.89 이상의 유사도를 기록한 반면 공항, 저수지, 건조 방목지는 -0.05에서 0.08 수준으로 낮게 나타났습니다.

python

import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# Load the 192-band embedding COG exported from Studio
with rasterio.open("embeddings.tif") as ds:
    emb = ds.read().astype(np.float32) # (192, H, W)
C, H, W = emb.shape
X = emb.reshape(C, -1).T # (H*W, 192)

# Train on labeled pixels, predict everywhere
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
clf.fit(X[train_idx], labels[train_idx])
prediction = clf.predict(X).reshape(H, W)

OlmoEarth Studio에서 내보낸 192밴드 임베딩 COG를 읽고, 라벨이 있는 픽셀로 Logistic Regression을 학습한 뒤 전체 래스터의 토지 피복을 예측합니다.

California Central Valley의 Sentinel-2 RGB 영상과 기준 픽셀에 대한 코사인 유사도 heatmap을 나란히 비교한 이미지입니다. — Chart왼쪽 영상의 기준 픽셀 주변은 Merced의 도심 인근에 있으며, 오른쪽 heatmap에서는 도시 조직과 도로 회랑이 밝은 높은 유사도 영역으로 나타납니다. 농경지는 상대적으로 어두워 임베딩 벡터 비교만으로 built-up surface와 cropland가 구분되는 양상을 나타냅니다.

농업 지역 query와 코사인 유사도가 높은 세 패치 0.91, 0.89, 0.89 및 낮은 세 패치 -0.05, 0.03, 0.08을 비교한 이미지입니다. — Chart높은 유사도 패치는 관개 농경지의 직사각형 필지 구조를 공유하고, 낮은 유사도 패치는 공항, 저수지, 건조 지형처럼 다른 표면 특성을 갖습니다. 이 비교는 라벨이나 별도 학습 없이 query 임베딩과 모든 픽셀의 코사인 유사도를 계산해 검색 결과를 얻는 과정을 구체적인 수치와 함께 나타냅니다.

근거

Merced 사례에서 농경지 패치는 0.89 이상의 높은 유사도를, 공항·저수지·건조 방목지는 -0.05에서 0.08 수준의 낮은 유사도를 기록했다. — Similarity search 섹션의 highest- and lowest-similarity locations 설명 및 이미지 5의 수치

임베딩 위에 간단한 선형 분류기를 얹으면 적은 라벨만으로 영역 전체의 토지 피복을 분할할 수 있습니다. 베트남 Ca Mau에서 mangrove, water, other 세 클래스를 대상으로 클래스당 20개씩 총 60개 픽셀을 학습시킨 Logistic Regression은 weighted F1 0.84를 기록했습니다. 라벨 수를 30개에서 300개로 늘려도 정확도 변화가 작았다는 결과는 사전학습된 임베딩이 분류에 필요한 생태적 구분을 상당 부분 담고 있음을 시사합니다.

베트남 Ca Mau에서 60개 라벨 픽셀로 mangrove, water, other를 분류한 기준 지도와 예측 지도이며 weighted F1은 0.84입니다. — Chart왼쪽 입력 영상의 60개 표본을 사용해 가운데 WorldCover reference의 세 클래스를 학습하고, 오른쪽에서 전체 영역의 토지 피복을 예측했습니다. 192차원 임베딩 위에 StandardScaler와 Logistic Regression을 적용한 few-shot 분류가 mangrove와 수역의 공간 경계를 넓은 영역에 걸쳐 복원한 결과입니다.

근거

OlmoEarth-v1-Tiny의 192차원 임베딩은 60개 라벨 픽셀만으로 mangrove, water, other 분류에서 weighted F1 0.84를 기록했다. — Few-shot segmentation 섹션의 Ca Mau 실험 설명과 F1 수치 출처

월별 임베딩을 서로 비교하면 별도 라벨이나 task-specific training 없이 지표면 변화를 찾을 수 있습니다. California Butte County의 2023년 9월과 2024년 9월 Sentinel-2 임베딩 사이의 픽셀별 코사인 거리를 계산하자 2024년 Park Fire의 burn scar가 높은 변화 영역으로 나타났습니다. 기준 위치나 라벨이 없는 경우에는 PCA로 임베딩을 세 차원으로 줄여 RGB에 매핑할 수 있으며, 네덜란드 Flevoland에서는 농경지 구획과 수역, 도시 구조가 false-color 이미지에 분리되어 나타났습니다.

California Butte County의 2023년 9월과 2024년 9월 영상 및 두 시점 임베딩의 코사인 거리 변화 맵입니다. — Chart두 시점의 Sentinel-2 임베딩을 픽셀별로 비교한 오른쪽 지도에서 Park Fire burn scar가 높은 변화량으로 밝게 나타납니다. 같은 지역의 월별 임베딩 사이 코사인 거리를 계산하면 라벨이나 task-specific training 없이 산불로 인한 지표면 변화를 추출할 수 있음을 나타냅니다.

네덜란드 Flevoland의 Sentinel-2 RGB 영상과 PC1, PC2, PC3를 RGB에 매핑한 임베딩 PCA 이미지입니다. — Chart오른쪽 PCA 이미지에서는 왼쪽 원본 영상의 규칙적인 polder 농경지 구획과 도시, 수역 구조가 서로 다른 색조로 나타납니다. 세 주성분을 RGB로 변환해 임베딩의 내부 공간 구조를 시각적으로 탐색하는 방식이며, 이미지 하단에는 PC1 17.0%, PC2 10.8%, PC3 4.4%, 총 32.3%의 분산 비율이 표시되어 있습니다.

근거

2023년 9월과 2024년 9월의 월별 임베딩을 비교한 코사인 거리 맵에서 Butte County의 Park Fire burn scar가 높은 변화 영역으로 나타났다. — Change detection 섹션과 wildfire change detection 시각화
Flevoland의 PCA false-color 이미지가 농경지 구획, 수역, 도시 영역의 구조를 재현했다. — Unsupervised exploration 섹션의 Flevoland 사례와 PCA 이미지

내보낸 COG는 QGIS, GDAL, rasterio 또는 자체 스크립트에서 처리할 수 있어 similarity search, few-shot segmentation, change detection, PCA 탐색을 표준 래스터 연산으로 연결합니다. 예시들은 40미터 해상도의 192차원 OlmoEarth-v1-Tiny와 Sentinel-2 L2A composite를 주로 사용했으며, 결과는 수 초 안에 계산되는 작업으로 제시됐습니다. 더 높은 성능이 필요한 경우에는 고정 임베딩 위에 자체 라벨로 task-specific model head를 학습하는 SFT를 적용할 수 있지만, 구름과 대기 이상, 관측 누락 같은 입력 영상 품질이 최종 벡터의 품질을 제한할 수 있습니다.

근거

persistent cloud cover, atmospheric artifacts, missing observations 같은 입력 영상 문제가 임베딩 품질에 영향을 줄 수 있다. — Limitations 섹션의 입력 영상 품질 관련 문단

용어 해설

임베딩(Embedding): — 임베딩은 이미지나 위치 같은 입력을 여러 숫자로 바꾼 벡터 표현입니다. OlmoEarth는 지구관측 데이터를 압축해 표면 특성이 비슷한 위치에는 유사한 벡터를, 다른 위치에는 거리가 큰 벡터를 할당합니다. 이 표현을 활용하면 별도의 대규모 라벨 없이 검색, 분할, 변화 탐지 같은 후속 작업을 수행할 수 있습니다.
코사인 유사도(Cosine Similarity): — 코사인 유사도는 두 벡터의 방향이 얼마나 가까운지 측정하는 값입니다. 기사에서는 기준 픽셀의 임베딩과 다른 모든 픽셀의 임베딩 사이 내적을 계산해 풍경이 비슷한 위치와 다른 위치를 찾습니다. 값이 높을수록 표면 특성이 유사하고, 값이 낮거나 0에 가까울수록 서로 다른 환경일 가능성이 큽니다.
Cloud-Optimized GeoTIFF: — Cloud-Optimized GeoTIFF는 지리공간 래스터 데이터를 효율적으로 저장하고 공유하도록 구성한 GeoTIFF 형식입니다. OlmoEarth Studio는 임베딩 차원마다 하나의 밴드를 둔 COG를 생성하며, 벡터 값은 -127부터 +127까지의 int8로 저장합니다. 따라서 QGIS, GDAL, rasterio 같은 기존 지리공간 도구에서 결과를 바로 다룰 수 있습니다.
Linear Probe: — Linear Probe는 사전학습이 끝난 모델의 표현을 고정한 채 그 위에 단순한 선형 분류기를 학습하는 평가 방식입니다. 기사에서는 192차원 임베딩에 표준화와 Logistic Regression을 적용해 적은 수의 라벨 픽셀로 전체 영역을 분류합니다. 이 결과는 임베딩 자체에 토지 피복과 생태적 차이가 어느 정도 정리되어 있는지 측정하는 데 쓰입니다.
Principal Component Analysis: — Principal Component Analysis는 고차원 데이터의 분산을 가장 많이 보존하는 축을 찾아 저차원으로 줄이는 방법입니다. 기사에서는 임베딩을 세 개의 주성분으로 축소한 뒤 이를 RGB 색상에 매핑해 위치별 구조를 false-color 이미지로 변환합니다. 네덜란드 Flevoland 사례에서는 농경지 경계와 수역, 도시가 서로 다른 색조로 나타나 임베딩 내부의 공간 구조를 확인할 수 있습니다.

기술

OlmoEarth Studio
OlmoEarth-v1-Tiny
OlmoEarth-v1-Base
Sentinel-2 L2A
Sentinel-1 RTC
Cloud-Optimized GeoTIFF
QGIS
GDAL
rasterio
NumPy
scikit-learn
Logistic Regression
StandardScaler
PCA

활용 사례

지구관측 영상의 유사 위치 검색
소수 라벨 기반 토지 피복 분할
산불 burn scar와 같은 지표면 변화 탐지
라벨이나 기준 위치가 없는 임베딩 구조 탐색
관심 지역의 wall-to-wall 토지 피복 지도 생성

언급된 리소스

논문OlmoEarth Tech Report

API DocsOlmoEarth Embeddings Documentation

문서OlmoEarth