Intern-S2-Preview 과학 에이전트 기반 모델

왜 중요한가

과학적 발견은 텍스트 질의에 답하는 수준을 넘어 그림·표·수식·시계열을 함께 읽고, 도구와 실행 환경을 반복적으로 사용하며, 긴 작업을 이어 가는 능력을 요구합니다. Intern-S2-Preview는 과학 문서의 시각 구조를 보존하는 사전학습과 검증 가능한 다중 과제 강화학습을 하나의 파이프라인으로 묶고, 시간序列 예측과 에이전트 상호작용까지 같은 기반 모델에 결합합니다. 397B Backbone을 고정한 Memory Decoder가 Biology-Instructions 평균 점수를 56.92에서 60.32로 높였다는 결과는 도메인 확장을 전체 모델 재학습과 분리할 수 있음을 뒷받침합니다.

핵심 기여

과학 문서의 시각·텍스트 통합 사전학습

렌더링된 과학 문서 페이지에서 Visual Pre-training을 수행하고, PDF의 텍스트·이미지·수식·표를 원래 배치 순서에 맞춰 Interleaved Sequence로 재구성합니다. 텍스트만 넣었을 때보다 시각 정보가 언어 모델의 Perplexity를 낮추는 페이지만 Visual-Gain Filtering으로 남겨 학습 데이터의 시각 의존성을 높입니다.

긴 시계열 이해와 수치 예측의 통합

시간 축 Chunk와 Compressive Patching, CNN, Q-Former, Channel-wise Transformer를 결합해 긴 시계열을 고정된 토큰 수로 압축합니다. 별도의 Forecasting Branch는 LLM의 의미 표현과 시계열 Encoder의 수치 표현을 Cross-Attention으로 결합해 미래 구간을 직접 생성합니다.

부분 Rollout과 안정화된 다중 과제 RL

완료된 궤적만 먼저 학습하고 미완료 요청은 접두사를 보존한 채 일시 중지했다가 정책 업데이트 뒤 재개합니다. 서로 다른 정책 버전에서 생성된 토큰에는 Importance-Sampling 비율을 적용하고, R3와 BKL Mask로 MoE 경로 및 수치 불일치를 보정합니다.

추론·에이전트 전문가를 하나로 통합

Reasoning RL과 Black-box·White-box Agentic RL을 별도의 전문가 정책으로 학습한 뒤 On-Policy Distillation으로 통합합니다. 학생 모델이 생성한 토큰에 대해 해당 전문가의 Log-Probability만 전달해 256K 토큰 환경에서 전체 Vocabulary Logits를 옮기는 통신 부담을 줄입니다.

핵심 아이디어 이해하기

일반적인 LLM은 텍스트 토큰의 관계를 중심으로 학습하므로 PDF의 그림·표·수식이 문서의 어느 위치에서 어떤 문단과 연결되는지, 긴 수치 신호가 앞으로 어떻게 변할지를 충분히 다루기 어렵습니다. Intern-S2-Preview는 텍스트만 추출하지 않고 페이지 이미지를 함께 학습하며, 시계열은 시간 Chunk와 Patch로 나눠 압축한 뒤 Channel-wise Transformer로 채널 간 관계를 계산합니다. 입력의 형태를 문서 이미지와 수치 벡터에 맞게 바꾸고도 최종 표현은 LLM이 처리할 수 있는 토큰 공간으로 연결합니다.

시간 시계열 Encoder에서는 원시 신호를 Chunk로 나누고 정규화한 뒤 CNN으로 국소 패턴을 추출합니다. 각 Temporal Patch는 학습 가능한 Query를 가진 Q-Former를 거쳐 고정된 수의 토큰으로 압축되고, Channel-wise Transformer가 평균 Pooling만으로 놓치던 채널 간 의존성을 계산합니다. 이 구조는 최대 입력 길이를 약 240,000에서 300,000 time steps로 늘리면서 최대 길이에서 이전 버전 대비 약 5~6배 빠른 추론과 GPU 메모리 사용량 약 20%를 달성하도록 설계됐습니다.

문서와 에이전트 학습에서도 핵심은 입력과 보상 신호의 구조를 보존하는 데 있습니다. PDF는 OCR·Layout Parsing으로 텍스트와 시각 단위를 분리한 뒤 읽기 순서로 다시 엮고, RL은 완료된 세션의 보상과 각 Token Span의 실행 기록을 PrefixTree로 연결합니다. 그 결과 모델은 단순한 정답 문장뿐 아니라 시각 근거, 도구 호출, 환경 관찰, 정책 버전까지 포함한 긴 작업 흐름을 학습합니다.

방법론

사전학습은 텍스트·시각 페이지·Interleaved PDF·검색 이미지의 네 흐름으로 구성됩니다. Visual Pre-training에서는 고정된 Visual Encoder가 페이지 이미지에서 특징 벡터를 추출하고 빈 영역을 제거한 뒤 Raster Scan 순서로 배열하며, LLM은 다음 Visual Latent를 맞춥니다. 동시에 텍스트 Cross-Entropy와 시각 예측 손실을 가중합하고, PDF 데이터는 256K 토큰 이하 Chunk와 512토큰 Overlap으로 나눠 긴 문맥 학습에 투입합니다.

Interleaved PDF 데이터는 MinerU2.5-Pro로 OCR과 Layout Parsing을 수행한 뒤 이미지·Interline Equation·Table을 Bounding Box 단위로 Crop합니다. 각 페이지에서 텍스트와 시각 단위를 읽기 순서로 배치하고, 이미지가 들어간 경우와 텍스트만 있는 경우의 Perplexity 차이를 계산해 시각 정보가 실제로 이해를 돕는 페이지만 보존합니다. 이후 원래 페이지 순서를 유지한 채 문서 단위 시퀀스로 합치며, Life Science·Chemistry·Materials Science에 초점을 둡니다.

이미지 검색은 원천 이미지의 SHA256 중복 제거, 8B Embedding Model을 이용한 1024차원 벡터화, Milvus의 여러 Collection 분할 순서로 진행됩니다. Text-to-Image 검색에서는 텍스트 벡터를 이미지 벡터 데이터베이스와 비교하고, Image-to-Image 검색에서는 입력 이미지와 Caption을 각각 벡터화해 시각·의미 정보를 함께 검색합니다. 검색 결과는 중복 제거와 Reranker 점수 필터링을 거쳐 멀티모달 사전학습에 사용됩니다.

사후학습은 Supervised Fine-Tuning, 다중 과제 RL, Agentic RL, On-Policy Distillation 순서입니다. RL 단계에서는 XTuner와 LMDeploy가 같은 GPU를 번갈아 사용하며, 충분한 완료 궤적이 모이면 미완료 Rollout을 멈추고 학습한 뒤 저장된 접두사에서 재개합니다. Positive Response가 충분히 많은 질의에만 짧은 성공 응답의 Advantage를 높이는 Adaptive Length Regularization을 적용하고, GEPO는 과제별 Entropy 차이에 따라 Positive·Negative Advantage를 비대칭 조정합니다.

Agentic RL은 Harness와 Task를 분리하는 추상화로 Coding·Terminal·일반 작업을 같은 실행 계약에 맞춥니다. Agent Runner와 Judger Adapter가 의미적 궤적과 최종 보상을 Replay Buffer에 저장하는 동안, Serving 계층은 Token ID·Log-Probability·MoE Router Expert를 Rollout Trace Store에 기록하고 PrefixTree로 세션의 실제 Token Span을 복원합니다. Outcome Verifier는 전체 작업 성공 여부를 판단하고 Process Annotator는 잘못된 Tool Call이나 반복 실패 같은 중간 행동에만 별도 가중치를 적용합니다.

주요 결과

Intern-S2-Preview-397B는 과학·멀티모달·에이전트·일반·시계열 벤치마크에서 여러 설정의 경쟁력 있거나 선도적인 결과를 기록했습니다. 시계열 모듈은 SciTS에서 과학 신호 이해와 예측을 개선했고, 별도 Memory Decoder 확장은 397B Backbone을 고정한 상태에서 Biology-Instructions 평균 점수를 56.92에서 60.32로 높였습니다. 논문은 개별 벤치마크의 전체 수치보다 여러 능력을 하나의 과학 에이전트 기반 모델에 결합한 결과를 중심으로 평가합니다.

시계열 Encoder의 최대 지원 길이는 약 240,000에서 300,000 time steps로 증가했습니다. 최대 길이에서 이전 버전보다 추론이 약 5~6배 빨라지고 GPU 메모리 사용량은 이전 버전의 약 20% 수준으로 감소했으며, 기존에 지원하지 않던 짧고 고주파인 신호와 약 MHz 레이더 신호까지 처리 범위가 넓어졌습니다. Forecasting Branch는 값을 이산 텍스트 토큰으로 출력하지 않고 수치 시퀀스를 직접 생성해 시계열 예측을 수행합니다.

Adaptive Length Regularization을 적용한 Intern-S2-Preview-35B는 적용하지 않은 설정과 비슷한 보상 곡선을 유지하면서 평균 출력 길이를 크게 줄였습니다. Online Speculative Decoding은 K=4개의 미래 위치를 예측하고 η=3으로 Draft Model을 현재 정책에 맞추며, Rollout 생성에서 약 2배, 전체 RL 학습에서 1.7배의 속도 향상을 기록했습니다. GEPO와 부분 Rollout은 서로 다른 Entropy와 응답 길이를 가진 과제를 같은 RL 파이프라인에서 처리하기 위한 안정화 장치로 사용됐습니다.

Agentic RL의 대표 궤적에서는 General-purpose 작업이 Claude Code와 OpenClaw 모두에서 빠르게 상승한 뒤 안정화됐고, 더 긴 SWE·Terminal 작업도 최적화 구간에서 개선 또는 회복 양상을 나타냈습니다. 절대 보상 크기는 Harness와 Task의 상호작용 방식이 달라 직접 비교하지 않고, 공통 Trace·Credit Assignment·Optimization 스택이 여러 조합에서 작동하는지를 기준으로 해석합니다. 최종 모델은 Reasoning Expert와 Agentic Expert의 능력을 On-Policy Distillation으로 통합합니다.

기술 상세

Memory Decoder는 397B Backbone과 병렬로 같은 문맥을 처리하는 별도 확장 모델입니다. 도메인 SFT 데이터의 각 정답 Token 위치에서 Prefix를 Key로 변환해 Datastore를 만들고, Nearest Neighbor의 거리와 Temperature로 Retrieval Teacher 분포를 계산한 뒤 Gold Token의 Cross-Entropy와 KL Distillation을 섞어 메모리를 학습합니다. 학습 손실은 $$로 시작하는 LaTeX가 아니라 원문의 구조를 평문으로 풀면, Retrieval Teacher와 Gold Answer 손실을 β와 1-β로 가중합하는 방식입니다.

추론 시 Backbone 분포를 p_S2, Memory Decoder 분포를 p_mem, Router가 정한 도메인 기여도를 λ_t로 두고 최종 분포를 p_final=(1-λ_t)p_S2+λ_t p_mem으로 계산합니다. λ_t가 0이면 범용 Backbone만 사용하고 1에 가까우면 메모리 분포의 영향이 커집니다. Router는 두 모델의 Hidden Representation과 Confidence·Entropy 특징을 입력으로 받으며, 도메인 예시에는 메모리 사용을 유도하고 일반 예시에는 과도한 메모리 사용을 억제하는 Signed Regularizer를 학습합니다.

시계열 Encoder는 Normalization에서 Channel-wise Mean과 Standard Deviation을 보존하고, CNN으로 국소 특징을 뽑은 뒤 Temporal Patch마다 Q-Former의 Learnable Query를 사용해 고정된 토큰 수로 압축합니다. 이후 Channel-wise Transformer가 채널 사이 관계를 계산하고 Transformer Encoder Body가 전체 시간 문맥을 처리합니다. Forecaster는 LLM의 Semantic Context와 Encoder의 Numerical Representation을 Q-Former로 선택 추출해 Causal Transformer Forecaster의 Cross-Attention 입력으로 만들며, Horizon Predictor가 예측 길이를 정합니다.

Visual Pre-training은 페이지 이미지에서 Visual Encoder가 추출한 특징 중 Foreground Mask가 1인 위치를 Raster Scan으로 정렬하고, LLM이 다음 Latent를 예측하도록 학습합니다. 정답 위치와 배치 내 다른 위치의 Cosine Similarity를 Temperature로 조정해 Softmax 확률을 만들고, 정답 위치의 Negative Log Probability를 평균내어 손실을 계산합니다. 텍스트 손실과 시각 손실은 λ_text와 λ_vis로 결합되며 Visual Encoder는 고정하고 LLM Backbone·Visual Projection·Prediction Head를 갱신합니다.

부분 Rollout에서는 토큰마다 해당 토큰을 생성한 Behavior Policy의 버전과 Log-Probability를 기록합니다. 현재 정책 확률을 생성 당시 정책 확률로 나눈 Importance-Sampling 비율을 일정 범위로 Clip하고, 가장 오래된 세그먼트가 현재 정책보다 세 번 넘게 이전이면 궤적을 폐기합니다. MoE에서는 LMDeploy의 Expert 선택을 XTuner가 재현하는 R3를 사용하고, 양방향 Binary KL이 임계값 φ를 넘는 토큰은 BKL Mask로 학습에서 제외합니다.

Adaptive Length Regularization은 Advantage가 양수인 응답 중 성공 응답 비율이 τG 이상일 때만 작동합니다. Positive Response의 길이를 최솟값과 최댓값 사이에서 정규화한 뒤 짧은 응답에 큰 가중치, 긴 응답에 작은 가중치를 주되 α를 통해 긴 응답에도 최소 가중치를 남깁니다. 틀린 응답과 아직 성공률이 낮은 질의에는 원래 Advantage를 유지해 어려운 문제에서의 탐색을 억제하지 않습니다.

실무 활용

이 모델은 과학 문서의 텍스트·그림·표·수식을 함께 읽고, 긴 수치 시계열을 이해하거나 미래 구간을 예측하며, 도구와 실행 환경을 사용하는 연구 지원 작업에 활용할 수 있습니다. 공개된 모델 경로는 https://huggingface.co/internlm/Intern-S2-Preview이며, Memory Decoder를 붙이면 397B Backbone을 수정하지 않고 특정 과학 분야의 지식과 작업 패턴을 추가할 수 있습니다.

과학 PDF 검색과 질의응답에 활용할 수 있습니다. 페이지 이미지와 주변 문단을 Interleaved Sequence로 유지하므로 그림·표·수식이 설명 문맥에서 어떤 역할을 하는지 함께 처리합니다. Visual-Gain Filtering과 이미지 검색 파이프라인은 시각 정보가 실제로 필요한 문서를 우선 학습하는 데 쓰입니다.
천문학·지구과학·신경과학·생리 신호·생체음향·레이더 신호 같은 시계열 작업에 적용할 수 있습니다. 입력 신호는 Chunk와 Patch로 압축되고 채널 간 의존성은 Channel-wise Transformer가 처리하며, Forecasting Branch는 지정된 Horizon의 미래 수치 시퀀스를 생성합니다. 최대 300,000 time steps와 약 5~6배 빠른 최대 길이 추론이 명시돼 있습니다.
생명과학 등 특정 도메인에 모델을 빠르게 맞추는 데 사용할 수 있습니다. 도메인 SFT 데이터에서 Retrieval 기반 Parametric Memory를 학습하고, Token-level Router가 범용 Backbone과 Memory Decoder의 다음 토큰 분포를 혼합합니다. Biology-Instructions 평균 점수가 56.92에서 60.32로 오른 결과가 이 방식의 실험 근거입니다.
코딩·Terminal·도구 사용 에이전트의 강화학습과 평가에 활용할 수 있습니다. Harness와 Task를 분리하고 Sandbox, Verifier, PrefixTree 기반 Trace Store를 연결하면 서로 다른 에이전트 런타임을 공통 RL 경험으로 변환합니다. Gold Patch와 Held-out Test를 에이전트 환경에서 분리해 보상 누출과 테스트 조작을 막는 절차도 포함됩니다.

코드 공개 여부: 공개

키워드

Intern-S2-Preview-397B(과학 에이전트 기반 모델)멀티모달 사전학습Visual Pre-training(시각 사전학습)시계열 모델링Memory Decoder(메모리 디코더)Agentic RL(에이전트 강화학습)On-Policy Distillation(온폴리시 증류)Partial Rollout(부분 롤아웃)

용어 해설

부분 Rollout(Partial Rollout): — 강화학습에서 모든 생성이 끝날 때까지 기다리지 않고, 먼저 완료된 궤적만 학습 배치에 넣는 방식입니다. 아직 생성 중인 요청은 현재 위치에서 멈추고 접두사와 메타데이터를 보존한 뒤, 정책 업데이트와 가중치 동기화가 끝나면 이어서 생성합니다. 긴 응답 때문에 GPU가 대기하는 시간을 줄이는 데 중요합니다.
On-Policy Distillation: — 학생 모델이 직접 생성한 궤적을 해당 영역의 전문가 모델이 평가하고, 같은 접두사에서 전문가의 토큰 확률을 학습 신호로 사용하는 증류 방식입니다. 학생이 실제로 방문한 상태에서 토큰 단위의 조밀한 감독을 받으므로 희소한 최종 보상만 사용하는 강화학습을 보완합니다. 여기서는 추론 전문가와 에이전트 전문가를 하나의 모델로 합치는 데 쓰입니다.
Visual Pre-training: — PDF 페이지를 이미지로 렌더링한 뒤, 그림·표·수식·배치가 포함된 시각적 표현을 예측하도록 LLM을 추가 학습하는 방법입니다. OCR이나 별도의 수작업 주석 없이 시각 Encoder가 추출한 잠재 벡터의 다음 위치를 맞추며, 텍스트 추출 과정에서 사라지는 문서 구조를 보존합니다. 텍스트 사전학습과 시각 표현 학습을 결합하는 단계입니다.
메모리 증강 모델(Memory-Augmented Model): — 기존 Backbone의 파라미터를 다시 학습하지 않고, 별도로 훈련한 외부 메모리 모듈을 연결해 특정 도메인의 지식과 작업 패턴을 보강하는 구조입니다. Backbone과 Memory Decoder가 같은 문맥에서 각각 다음 토큰 분포를 계산하고, Token-level Router가 두 분포의 결합 비율을 동적으로 정합니다. 범용 능력을 유지하면서 생명과학 같은 새 분야를 모듈 방식으로 확장하는 데 쓰입니다.
Speculative Decoding: — 작은 Draft Model이 여러 후보 토큰을 먼저 생성하고, 현재 정책 모델이 이를 병렬 검증하는 추론 가속 방식입니다. 정확한 Rejection Sampling을 사용하면 현재 정책의 샘플링 분포를 바꾸지 않으면서 생성 시간을 줄일 수 있습니다. 이 논문은 정책 변화에 맞춰 Draft Model을 온라인 학습하고 Forward KL과 Total Variation을 함께 최적화합니다.

Intern-S2-Preview 과학 에이전트 기반 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화