사후 학습이 생물학적 추론 모델의 일반화와 특성화에 미치는 영향

왜 중요한가

생물학적 추론에서는 보이지 않는 경로·질병·종으로의 전이가 빈번하므로 in-domain 성능만으로는 실용성을 판단할 수 없다. 본 연구는 CPT, SFT, RL이라는 표준 사후 학습 단계를 통제된 조건에서 분리해 각 단계가 ID와 OOD 성능에 미치는 구체적 영향을 규명하였으므로 실제 생물학 응용에서 학습 예산을 어떻게 배분할지에 대한 실무적 지침을 제공한다.

핵심 기여

사후 학습 단계별로 서로 다른 일반화 거동을 규명함

CPT, SFT, RL 각 단계가 ID와 OOD 성능에 상이한 영향을 미친다는 사실을 대규모 실험으로 확인했다. CPT는 도메인 언어 적합을 통해 downstream 적응을 촉진했으며 SFT는 ID 성능을 지속적으로 올리되 OOD 성능은 조기 피크 이후 하락시켰다. RL은 강한 SFT 체크포인트에서 시작하면 OOD 성능을 의미 있게 회복시켰다.

SFT의 과적합 특성에 대한 정량적 관찰 제공

동일 데이터에 대해 epoch 수를 늘리는 방식은 ID 성능을 계속 상승시키는 반면 OOD 성능은 빠르게 정점에 도달하고 이후 감소하는 패턴을 보였다. 예로 Q1-D-S는 ID 정확도가 약 0.68에서 0.90으로 오른 반면 OOD는 2–4 epoch에 0.73 근처에서 정점 후 32 epoch에서 0.68로 하락했다. 데이터량 증가(4K→20K)는 동일 예산에서 SFT epoch 증가보다 OOD 안정성에 더 우호적이었다.

RL이 SFT로 인한 일반화 손실을 부분적으로 회복함

강한 SFT 체크포인트에서 RL을 적용하면 ID와 OOD 성능이 모두 개선되었고 OOD 개선 폭이 더 컸다. DNA에서는 OOD 정확도가 약 0.05 상승했고, 단백질에서는 Q4-P-S 기반 실험에서 Fmax가 약 0.08 상승했다. 대부분의 RL 이득은 첫 몇 epoch 안에 발생하고 이후 수익이 감소하는 경향이 확인되었다.

적응 능력 배분은 단계별로 비대칭이어야 함

LoRA rank ablation에서 SFT에는 높은 rank(예 rSFT=256)가 ID 성능과 종종 OOD 성능을 끌어올린 반면 RL에는 중간 rank(예 rRL=16)가 최적 영역을 형성했다. 이로 인해 동일한 총 적응 파라미터를 SFT와 RL에 대칭적으로 나누는 것보다 SFT에 더 많은 적응 능력을 할당하는 것이 최종 성능 면에서 우수했다. 이 관찰은 파이프라인 설계시 stage-specific adapter 예산이 중요함을 시사한다.

CPT가 작은 모델에서 특히 downstream 효과를 증폭함

CPT를 거친 모델은 SFT와 RL에서 더 큰 절대 이득을 보였고 특히 소형 백본(Q1)에서 그 효과가 뚜렷했다. Q1-D의 OOD에서는 CPT가 SFT와 RL의 효과를 각각 약 0.2 및 0.08만큼 향상시켰다. 따라서 CPT는 생물학적 언어를 모델에 사전에 정렬시켜 이후 단계의 효율을 높이는 역할을 한다.

핵심 아이디어 이해하기

생물학적 추론 문제는 자연어 프롬프트와 DNA/RNA/단백질 표현을 결합해 기계적으로 다른 생물학적 메커니즘을 추론해야 한다는 점에서 일반적인 언어 태스크와 구조적으로 다르다. Transformer 기반 LLM은 언어 패턴과 문맥 연결을 학습하지만 생물학적 서술, 서열 표시, 및 모달리티별 임베딩을 동시에 다루려면 추가적 적응이 필요하다. 이 때문에 사후 학습 단계들이 도메인 언어 적합성, 태스크 포맷 적응성, 보상 정렬이라는 서로 다른 기능을 분담한다.

방법론

연구는 세 가지 생물학적 도메인 DNA, RNA, protein에 대해 ID와 OOD 분할을 명확히 정의하고 동일한 파이프라인을 적용해 사후 학습 단계의 효과를 고립시켰다. 백본으로는 Qwen3-1.7B와 Qwen3-4B를 주로 사용했고 추가로 Gemma4-E2B를 포함해 백본 강도 변화의 영향도 측정했다. 생물학적 모달리티 표현은 Evo2-1B, TranscriptFormer, ESM-3 같은 frozen biological foundation models를 사용해 임베딩을 제공하고 이들과 LLM backbone을 trainable projection layer로 연결했다.

주요 결과

Supervised Fine-Tuning은 in-domain 성능을 꾸준히 향상시키는 반면 out-of-domain 성능은 적은 epoch에서 정점을 보이고 이후 감소하는 명확한 트레이드오프를 만들었다. 예로 Q1-D-S 설정에서 ID accuracy는 약 0.68에서 0.90까지 상승했으나 OOD accuracy는 2–4 epoch 부근에서 약 0.73으로 정점 후 32 epoch에서 0.68로 내려갔다. 데이터량을 늘리는 방식은 epoch를 늘리는 방식보다 OOD 안정성에 더 우호적이었고 4K→20K 샘플 구간에서 ID와 OOD 모두 의미 있는 상승을 기록했으나 이득은 데이터의 40–60% 지점 이후 둔화되었다.

기술 상세

전체 아키텍처는 일반 목적 LLM 백본과 modality별 frozen foundation model 임베딩을 trainable projection layer로 연결하는 구조를 취했다. 입력으로 주어진 자연어 컨텍스트와 서열 또는 임베딩을 projection을 거쳐 LLM의 토큰 시퀀스에 통합하고 autoregressive decoder로 응답을 생성했다. SFT 단계는 autoregressive language-model loss로 목표 응답을 학습하며 epoch 수를 {1,2,4,8,16,32} 범위로 실험했다.

한계점

연구는 DNA, RNA, protein 세 도메인과 몇몇 벤치마크에 한정되어 있어 다른 과학적 추론 설정으로의 일반화 범위는 불명확하다. RL 의존성은 보상 설계와 감독 시작점 품질에 민감하며 본 연구는 보상 설계의 다양한 선택지를 포괄적으로 비교하지 않았다. 최종 평가는 최종 답안 정확도 중심으로 이루어져 중간 추론 단계의 타당성은 직접적으로 측정하지 못했다.

실무 활용

사후 학습 예산이 제한적일 때는 짧은 SFT로 태스크 능력을 확보한 뒤 RL에 더 많은 예산을 투입하는 것이 OOD 강건성 측면에서 효율적이다. CPT를 초기 단계에 포함시키면 특히 소형 백본에서 SFT와 RL의 downstream 효율이 증가한다. 공개된 코드 저장소와 체크포인트를 통해 파이프라인을 재현할 수 있다.

생물학적 경로 추론 및 약물 표적 후보 선정 모델을 개발할 때 CPT로 도메인 언어 적합을 먼저 수행한 후 적은 epoch의 SFT와 이후 RL을 적용해 OOD 강건성을 개선할 수 있다.
단백질 기능 예측과 같이 multimodal 입력을 사용하는 태스크에서 LoRA rank를 SFT에 높게, RL에 낮게 할당해 적응 능력을 단계별로 최적화할 수 있다.
연구 환경에서 ID/OOD 트레이드오프를 정량화하고 싶을 때 본 연구의 epoch·데이터·rank 조합을 기준선으로 삼아 예산 할당 실험을 설계할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

post-training(사후 학습)continued pre-training(계속 사전학습)supervised fine-tuning(지도 파인튜닝)reinforcement learning(강화학습)LoRA(저순위 적응)ID/OOD split(내외부 분포 분할)

용어 해설

계속 사전학습(Continued Pre-training (CPT)): — 도메인 일반 텍스트로 추가적인 next-token 예측 학습을 수행하여 모델의 도메인 어휘와 문장 구조 적합성을 높이는 단계이다. 이 단계는 기본 능력을 보존하면서 생물학적 언어 표현을 모델 파라미터에 반영하므로 이후의 task-specific 학습 효율을 높인다. 본 논문 맥락에서는 CPT가 SFT와 RL의 downstream 효율을 증가시키는 기반 역할을 한다.
지도 파인튜닝(Supervised Fine-Tuning (SFT)): — 태스크별 정답 레이블을 사용해 autoregressive language-model loss로 모델을 학습하여 목표 형식과 행동을 빠르게 적응시키는 단계이다. 반복(epoch) 증가가 in-domain 성능을 지속적으로 올리지만 동일 데이터 반복 학습 시 out-of-domain 일반화는 조기 피크 이후 저하될 수 있다. 논문에서는 SFT의 epochs와 데이터량을 조절해 ID/OOD 트레이드오프를 측정했다.
강화학습(Reinforcement Learning (RL)): — 태스크 정렬된 보상 함수를 최적화하여 모델 출력을 보상 신호에 맞추는 단계로, supervised checkpoint에서 시작해 reward 기반으로 행동을 조정한다. 본 연구에서는 GRPO 계열 절차와 KL anchoring을 사용하여 SFT로 인해 좁아진 일반화를 일부 회복시키는 데 사용되었다. RL은 특히 첫 몇 에폭에서 OOD 성능을 크게 올리는 경향이 관찰되었다.
LoRA(저순위 적응)(LoRA): — 전체 가중치를 직접 갱신하지 않고 저순위 분해 행렬을 학습해 적응 능력을 제공하는 기법이다. 본 연구에서는 SFT와 RL 단계에서 서로 다른 LoRA rank를 할당하여 적응 용량의 비대칭 배치가 ID/OOD 성능에 미치는 영향을 실험했다. 결과적으로 SFT에는 높은 rank가, RL에는 상대적으로 낮은 rank가 더 유리했다.
내부/외부 분포 분할(ID / OOD split): — 학습 데이터와 평가 데이터를 생물학적으로 의미 있는 방식으로 분리하여 같은 경로·질병·종을 포함하는 in-domain과 새로운 경로·질병·종을 포함하는 out-of-domain으로 구분하는 절차이다. 이 분할은 모델이 단순히 학습 분포에 적합하는지 아니면 진정한 생물학적 일반화를 확보하는지를 가르는 핵심 평가 기준으로 사용되었다. 논문에서는 경로 단위, 질병 보류, 종 보류 방식으로 OOD를 정의했다.