토크나이저 안내서: 과학적 파운데이션 모델을 위한 벤치마크

대규모 천문 관측 데이터는 변환·압축 방식에 따라 Foundation Model의 표현 능력이 근본적으로 달라지는 특성이 있다. 본 연구는 서로 다른 토크나이저가 표현의 가용성과 재구성 품질을 어떻게 갈라놓는지 실험적으로 규명하여 downstream 물리량 추론과 이미지 재구성 요구 사이의 선택 기준을 제시한다. 이 결과는 과학적 관측 데이터를 이용해 모델을 설계하거나 벤치마크를 구성할 때 토크나이저 설계가 핵심 설계 변수가 됨을 시사한다.

왜 중요한가

핵심 기여

통일된 AstroPT 백본에서 네 가지 토크나이저 비교

Affíne, AIM, JetFormer, VQ-VAE 네 가지 토크나이저를 동일한 89M-parameter AstroPT decoder-only transformer에 적용해 비교 실험을 수행했다. 실험은 640,000 장의 DESI Legacy Survey 유래 은하 이미지를 사용하여 재구성 지표(SSIM, PSNR)와 물리량 회귀(R²)를 병행 평가했다. 각 토크나이저는 학습·사전학습 절차를 문헌에 따라 재현하여 경쟁력 있는 설정을 확보했다.

재구성 품질과 표현의 물리적 접근성의 분리 규명

JetFormer(정규화 흐름 기반)은 PSNR 31.11dB, SSIM 0.762를 기록하며 픽셀 단위 재구성에서 우수한 성능을 보였다. 반면 VQ-VAE는 PSNR 23.57dB, SSIM 0.544로 재구성에서는 열세이나 선형 및 MLP probe에서 물리량 예측 성능이 가장 높았다. 재구성 성능과 probe로 접근 가능한 표현 품질이 서로 상충하거나 독립적으로 작동할 수 있음을 실험적으로 확인했다.

패치 기반 토크나이저의 형태학 보존과 연속/이산 설계의 역할 규명

Affine과 AIM 패치 기반 토크나이저는 국소적 형태학(morphology) 정보를 상대적으로 잘 보존하여 smooth, disc, edge-on 같은 형태학 지표에서 양호한 성능을 보였다. AIM의 MLP 헤드는 충분히 표현력이 큰 백본에서는 Affine 대비 큰 이점을 제공하지 않았다. VQ-VAE의 이산 코드북은 의미적 군집화를 유도해 고수준 물리량(예: redshift, absolute photometry)에 대한 선형 접근성을 향상시켰다.

재구성된 픽셀을 통한 probe 실험으로 메커니즘 확인

원본 이미지, JetFormer 재구성, VQ-VAE 재구성에 대해 동일한 ResNet-50 특징 추출기를 적용하고 선형·MLP probe를 반복하여 재구성 픽셀 자체의 정보 보존을 평가했다. JetFormer 재구성은 원본 대비 거의 동등한 수준의 포토메트릭 정보를 유지했으나 임베딩에서는 정보가 흩어져 probe 접근이 제한되었다. VQ-VAE 재구성은 픽셀 수준에서 미세 구조와 저표면광 신호를 상실했으나 임베딩 공간에서 물리량이 더 직접적으로 정렬되었다.

핵심 아이디어 이해하기

토크나이저는 이미지를 Transformer 입력 시퀀스로 변환하는 과정으로, 이 변환 방식이 표현의 손실·압축·분포 정렬 방식에 직접 영향을 미친다. 기존 연구에서는 주로 아키텍처나 학습 목표에 초점이 맞춰졌으나, 관측 기반 과학 렌즈에서는 토크나이저가 물리적 정보의 가용성을 결정하는 핵심 요소가 된다. 본 논문은 동일한 백본에서 토크나이저 설계만 달리해 그 영향 경로를 분리하려 했다.

방법론

실험은 AstroPT decoder-only transformer를 공통 백본으로 사용하고 입력 이미지를 8×8 픽셀 패치로 분할해 각 토크나이저별로 토큰을 생성한 뒤 동일한 autoregressive 학습 절차로 파인튜닝했다. Affine은 입력 패치를 단일 선형 사영으로 임베딩하고 역으로 선형 디코더를 사용해 재구성했으며 AIM은 패치별 MLP로 비선형 매핑을 수행해 임베딩을 얻었다. JetFormer은 역변환 가능한 normalizing flow를 적용해 연속 잠재를 형성하고 GMM 출력 헤드를 사용해 확률적 예측을 수행했으며 VQ-VAE는 사전학습된 코드북을 이용해 패치 벡터를 이산 토큰으로 양자화한 뒤 백본을 훈련했다.

주요 결과

재구성 지표에서 JetFormer는 평균 PSNR 31.11 dB(σ=3.54)와 평균 SSIM 0.762(σ=0.138)를 기록하며 가장 높은 픽셀 수준 복원을 달성했다. VQ-VAE는 평균 PSNR 23.57 dB(σ=0.93)와 평균 SSIM 0.544(σ=0.054)를 기록하여 재구성에서는 열세였으나 선형 및 MLP probe에서 대부분의 물리량 예측 성능 최상위를 차지했다. 임베딩 용량 배분 실험에서 JetFormer는 관찰 가능한 포토메트릭·구조적 파라미터에 더 많은 표현 용량을 할당(R²≈0.33/0.29), VQ-VAE는 고수준 물리량(redshift 등)에 더 높은 R²(예: 0.058 vs 0.033)을 보였다.

기술 상세

아키텍처는 89M 파라미터의 AstroPT decoder-only transformer로 12개 층, 모델 차원 768, 12개 attention head, 컨텍스트 길이 1024 토큰을 사용했다. 입력 이미지는 256×256 픽셀 g,r,z 밴드 우표 이미지로, 8×8 패치로 분할되어 한 이미지당 1024개의 토큰이 생성되었다. 학습에선 AdamW를 사용했고 기본 학습률 1e-4, weight decay 1e-4, β2=0.95, 배치크기 8, 그래디언트 클리핑 0.5, 10,000 스텝의 linear warm-up이 적용되었다.

한계점

비교가 완전히 ablative하지 못하다는 점이 논문에서 명시되어 있으며 이는 각 토크나이저의 사전학습·학습 절차 차이에서 기인한다. 임베딩 평가가 선형 probe 및 간단한 MLP probe에 의존하므로 더 강력한 downstream 모델이 정보를 어떻게 활용할지는 본 연구 범위를 벗어난다. 데이터 규모나 모델 용량에 따른 스케일링 영향과 패치 정규화의 부수적 효과는 본 실험에서 충분히 탐색되지 않았다.

실무 활용

이 연구의 코드는 공개된 Github 리포지토리에서 재현 가능하여 실제 천문 데이터 기반 표현 학습 파이프라인에 바로 적용할 수 있다. VQ-VAE 기반 토크나이저는 물리량 회귀를 중요시하는 분석 파이프라인에서 유리하며 JetFormer 계열은 이미지 재생산 품질이 중요한 생성·복원 작업에 적합하다. 계산 자원이 제한된 환경에서는 Affine 토크나이저가 단순성 대비 성능 균형이 나쁘지 않다.

천문 관측 데이터로부터 물리량(사진계·분광량)을 직접 예측하는 대규모 표현 학습 파이프라인에서 VQ-VAE 토크나이저를 전처리 단계로 채택하는 경우.
저표면광 구조와 미세한 형태학적 특징 복원이 주요 목표인 이미지 생성 또는 보정 파이프라인에서 JetFormer 기반 토크나이저를 사용해 재구성 품질을 우선시하는 경우.
계산 예산이 제한된 초기 실험 또는 온디바이스 전처리에서 Affine 토크나이저를 사용하여 낮은 복잡도로 백본에 정보를 공급하는 경우.

코드 공개 여부: 공개

코드 저장소 보기

키워드

tokenization(토크나이제이션)VQ-VAE(벡터 양자화 VAE)Normalizing Flow(정규화 흐름)AstroPT(아스트로PT)DESI Legacy Survey(DESI 유산 서베이)SSIM(구조 유사도 지수)PSNR(피크 신호대잡음비)

용어 해설

토크나이제이션(Tokenization): — 이미지나 관측값을 Transformer가 처리할 수 있는 일련의 토큰으로 변환하는 과정으로, 입력 패치의 연속적 또는 이산적 표상과 복원 메커니즘을 설계하여 표현의 가용성·재구성 품질·계산 복잡도를 결정한다.
정규화 흐름(Normalizing Flow): — 역변환 가능한 확률적 변환을 이용해 관측 픽셀을 연속 잠재공간으로 사상하는 기법으로, 입력을 가우시안 혼합 등으로 모델링하여 최대우도 학습을 통해 정보보존형 토큰을 생성한다.
VQ-VAE: — 연속 잠재벡터를 학습된 코드북의 최인접 원소로 양자화해 이산 토큰을 생성하는 구조로, 코드북 크기로 정보 병목을 형성하여 의미적 군집화를 유도하지만 저표면광 신호나 미세 구조를 손실할 수 있다.
구조 유사도 지수(SSIM): — 두 영상의 구조적 유사성을 0~1 범위로 수치화하는 지표로, 밝기·대비·구조 요소를 결합해 국부 패치 수준에서 재구성 품질을 평가하며 미세한 구조 보존도를 반영한다.
피크 신호대잡음비(PSNR): — 원본과 재구성 영상의 평균 제곱오차 기반로 동적 범위 대비 재구성 품질을 데시벨 단위로 표현하는 지표로, 높은 값일수록 픽셀 수준 재현이 우수함을 의미한다.

토크나이저 안내서: 과학적 파운데이션 모델을 위한 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드