멀티모달 생물 의학 데이터를 활용한 해석 가능한 퓨샷 알츠하이머병 예측을 위한 정형 데이터 특화 LLM

알츠하이머 진단에 필요한 생체 지표 데이터는 양이 적고 결측치가 많아 기존 딥러닝 모델 적용이 어려웠으나, 이 논문은 정형 데이터에 특화된 LLM을 통해 적은 데이터로도 정확하고 해석 가능한 진단을 가능하게 한다. 이는 의료 AI가 단순 수치 제공을 넘어 의학적 근거를 바탕으로 의사 결정을 돕는 지능형 에이전트로 진화할 수 있음을 보여준다.

기존 알츠하이머 예측은 주로 Random Forest 같은 전통적 머신러닝에 의존했다. 딥러닝의 핵심인 Self-Attention은 데이터 간의 복잡한 관계를 파악하는 데 유리하지만, 병원 데이터처럼 샘플 수가 적고 표(Table) 형식인 경우 과적합(Overfitting)이 발생하거나 데이터의 구조적 특징을 놓치기 쉽다.

TAP-GPT는 정형 데이터 이해에 특화된 TableGPT2를 뼈대로 삼아 이 문제를 해결한다. 일반 텍스트가 아닌 표의 행과 열 구조를 보존하는 전용 인코더를 사용하고, QLoRA 기법으로 모델의 일부 가중치만 미세 조정하여 적은 데이터로도 알츠하이머 특유의 바이오마커 패턴을 학습한다.

특히 '자기 성찰(Self-Reflection)' 단계를 도입하여 모델이 자신의 예측을 스스로 검토하게 함으로써 의료 데이터에서 흔히 발생하는 오류를 줄이고 진단의 안정성을 확보했다. 이는 AI가 단순한 계산기가 아니라 의학적 논리를 갖춘 보조 전문가로 동작하게 함을 의미한다.

TableGPT2-7B 모델을 기반으로 하며, 표 구조를 인식하는 시맨틱 테이블 인코더와 Qwen2.5 기반의 디코더 아키텍처를 결합했다. 학습 시에는 QLoRA(Quantized Low-Rank Adaptation)를 적용하여 4비트 양자화 상태에서 저순위 행렬만을 업데이트함으로써 연산 효율성을 극대화했다.

입력 데이터는 텍스트 직렬화(Serialization) 대신 표의 구조를 유지하는 'Tabular Prompt' 방식을 채택했다. 퓨샷(Few-shot) 설정을 위해 ICL(In-Context Learning) 풀에서 무작위로 추출된 k개의 예시 사례를 타겟 환자 데이터 상단에 배치하여 모델이 문맥을 파악하도록 유도했다.

고차원 영상 데이터 처리를 위해 LASSO 회귀와 GPT-4.1-mini를 활용한 기능 선택(Feature Selection) 단계를 거쳤다. LASSO는 가중치의 절대값 합을 제한하는 L1 규제를 통해 중요도가 낮은 변수의 계수를 0으로 만들어 핵심 지표만 남기고, LLM은 의학적 중요도에 따라 변수의 순위를 매겨 입력 토큰 길이를 최적화했다.

QT-PAD 데이터셋에서 8-shot 설정 시 TAP-GPT는 평균 F1 스코어 0.89를 기록하며, 전통적 머신러닝 모델인 Random Forest(0.74)와 XGBoost(0.70)를 크게 상회했다. 일반 목적 LLM인 GPT-4.1-mini(0.81)와 비교해도 정형 데이터 특화 성능이 우수함을 입증했다.

결측치 강건성 실험에서 데이터의 50%를 무작위로 삭제(Masking)했음에도 불구하고 성능 저하가 완만하게 나타났으며, 이는 별도의 데이터 보간(Imputation) 없이도 모델이 불완전한 임상 데이터를 처리할 수 있음을 보여주었다.

자기 성찰(Self-Reflection) 적용 시 GPT-4.1-mini는 성능이 오히려 하락하는 경향을 보였으나, TAP-GPT는 여러 차례의 추론 과정에서도 예측의 일관성을 유지하며 멀티 에이전트 시스템으로의 확장 가능성을 증명했다.

TAP-GPT는 TableGPT2의 인코더-디코더 구조를 계승하며, 인코더는 고정(Frozen)하고 디코더에만 QLoRA 어댑터를 삽입하여 도메인 지식을 주입했다. 이는 사전 학습된 정형 데이터 표상 능력을 유지하면서 특정 질병 분류 태스크에 최적화하는 전략이다.

추론 시 'Constrained Decoding'을 사용하여 출력 공간을 {0, 1}로 제한함으로써 유효하지 않은 응답 생성을 방지했다. 해석 가능성을 위해 'Let's think step by step' 프롬프트를 추가하여 CoT(Chain-of-Thought)를 유도하고 결과를 구조화된 JSON으로 출력하도록 설계했다.

AT[N] 프레임워크(Amyloid, Tau, Neurodegeneration)에 기반한 멀티모달 데이터를 통합 처리했다. 각 모달리티별로 최적의 k(예시 수)와 p(기능 수)를 찾기 위해 Ablation Study를 수행했으며, QT-PAD 데이터셋에서는 k=8, 영상 데이터셋에서는 k=4가 최적의 성능을 보였다.

모델이 때때로 기능의 방향성(예: 대사 저하가 질병 징후임에도 FDG 수치 상승을 질병으로 오인)을 잘못 해석하거나 다른 환자의 값을 참조하는 추론 오류가 발생할 수 있다. 또한 고정된 TableGPT2 아키텍처로 인해 최신 LLM 백본으로의 즉각적인 교체가 제한적이다.