토크나이저 안내서: 과학적 파운데이션 모델을 위한 벤치마크

대규모 천문 관측 데이터는 변환·압축 방식에 따라 Foundation Model의 표현 능력이 근본적으로 달라지는 특성이 있다. 본 연구는 서로 다른 토크나이저가 표현의 가용성과 재구성 품질을 어떻게 갈라놓는지 실험적으로 규명하여 downstream 물리량 추론과 이미지 재구성 요구 사이의 선택 기준을 제시한다. 이 결과는 과학적 관측 데이터를 이용해 모델을 설계하거나 벤치마크를 구성할 때 토크나이저 설계가 핵심 설계 변수가 됨을 시사한다.

토크나이저는 이미지를 Transformer 입력 시퀀스로 변환하는 과정으로, 이 변환 방식이 표현의 손실·압축·분포 정렬 방식에 직접 영향을 미친다. 기존 연구에서는 주로 아키텍처나 학습 목표에 초점이 맞춰졌으나, 관측 기반 과학 렌즈에서는 토크나이저가 물리적 정보의 가용성을 결정하는 핵심 요소가 된다. 본 논문은 동일한 백본에서 토크나이저 설계만 달리해 그 영향 경로를 분리하려 했다.

실험은 AstroPT decoder-only transformer를 공통 백본으로 사용하고 입력 이미지를 8×8 픽셀 패치로 분할해 각 토크나이저별로 토큰을 생성한 뒤 동일한 autoregressive 학습 절차로 파인튜닝했다. Affine은 입력 패치를 단일 선형 사영으로 임베딩하고 역으로 선형 디코더를 사용해 재구성했으며 AIM은 패치별 MLP로 비선형 매핑을 수행해 임베딩을 얻었다. JetFormer은 역변환 가능한 normalizing flow를 적용해 연속 잠재를 형성하고 GMM 출력 헤드를 사용해 확률적 예측을 수행했으며 VQ-VAE는 사전학습된 코드북을 이용해 패치 벡터를 이산 토큰으로 양자화한 뒤 백본을 훈련했다.

재구성 지표에서 JetFormer는 평균 PSNR 31.11 dB(σ=3.54)와 평균 SSIM 0.762(σ=0.138)를 기록하며 가장 높은 픽셀 수준 복원을 달성했다. VQ-VAE는 평균 PSNR 23.57 dB(σ=0.93)와 평균 SSIM 0.544(σ=0.054)를 기록하여 재구성에서는 열세였으나 선형 및 MLP probe에서 대부분의 물리량 예측 성능 최상위를 차지했다. 임베딩 용량 배분 실험에서 JetFormer는 관찰 가능한 포토메트릭·구조적 파라미터에 더 많은 표현 용량을 할당(R²≈0.33/0.29), VQ-VAE는 고수준 물리량(redshift 등)에 더 높은 R²(예: 0.058 vs 0.033)을 보였다.

아키텍처는 89M 파라미터의 AstroPT decoder-only transformer로 12개 층, 모델 차원 768, 12개 attention head, 컨텍스트 길이 1024 토큰을 사용했다. 입력 이미지는 256×256 픽셀 g,r,z 밴드 우표 이미지로, 8×8 패치로 분할되어 한 이미지당 1024개의 토큰이 생성되었다. 학습에선 AdamW를 사용했고 기본 학습률 1e-4, weight decay 1e-4, β2=0.95, 배치크기 8, 그래디언트 클리핑 0.5, 10,000 스텝의 linear warm-up이 적용되었다.

비교가 완전히 ablative하지 못하다는 점이 논문에서 명시되어 있으며 이는 각 토크나이저의 사전학습·학습 절차 차이에서 기인한다. 임베딩 평가가 선형 probe 및 간단한 MLP probe에 의존하므로 더 강력한 downstream 모델이 정보를 어떻게 활용할지는 본 연구 범위를 벗어난다. 데이터 규모나 모델 용량에 따른 스케일링 영향과 패치 정규화의 부수적 효과는 본 실험에서 충분히 탐색되지 않았다.