멀티모달 생물 의학 데이터를 활용한 해석 가능한 퓨샷 알츠하이머병 예측을 위한 정형 데이터 특화 LLM

왜 중요한가

알츠하이머 진단에 필요한 생체 지표 데이터는 양이 적고 결측치가 많아 기존 딥러닝 모델 적용이 어려웠으나, 이 논문은 정형 데이터에 특화된 LLM을 통해 적은 데이터로도 정확하고 해석 가능한 진단을 가능하게 한다. 이는 의료 AI가 단순 수치 제공을 넘어 의학적 근거를 바탕으로 의사 결정을 돕는 지능형 에이전트로 진화할 수 있음을 보여준다.

핵심 기여

TAP-GPT 프레임워크 제안

TableGPT2를 기반으로 알츠하이머 진단 도메인에 맞게 조정된 최초의 정형 데이터 특화 LLM 프레임워크를 개발했다.

퓨샷 학습 성능 입증

단 8개의 예시 데이터(few-shot)만으로도 기존 머신러닝 모델(Random Forest, XGBoost) 및 일반 LLM보다 우수한 예측 성능(F1 0.89)을 기록했다.

해석 가능한 진단 근거 생성

단순 분류를 넘어 의학적 지식에 기반한 단계별 추론(Chain-of-Thought) 과정을 JSON 형태로 출력하여 임상적 신뢰도를 확보했다.

데이터 결측치 대응 및 기능 선택

데이터의 50%가 누락된 상황에서도 안정적인 성능을 유지하며, LASSO 및 LLM 기반 기능 선택을 통해 고차원 영상 데이터를 효율적으로 처리했다.

핵심 아이디어 이해하기

기존 알츠하이머 예측은 주로 Random Forest 같은 전통적 머신러닝에 의존했다. 딥러닝의 핵심인 Self-Attention은 데이터 간의 복잡한 관계를 파악하는 데 유리하지만, 병원 데이터처럼 샘플 수가 적고 표(Table) 형식인 경우 과적합(Overfitting)이 발생하거나 데이터의 구조적 특징을 놓치기 쉽다.

TAP-GPT는 정형 데이터 이해에 특화된 TableGPT2를 뼈대로 삼아 이 문제를 해결한다. 일반 텍스트가 아닌 표의 행과 열 구조를 보존하는 전용 인코더를 사용하고, QLoRA 기법으로 모델의 일부 가중치만 미세 조정하여 적은 데이터로도 알츠하이머 특유의 바이오마커 패턴을 학습한다.

특히 '자기 성찰(Self-Reflection)' 단계를 도입하여 모델이 자신의 예측을 스스로 검토하게 함으로써 의료 데이터에서 흔히 발생하는 오류를 줄이고 진단의 안정성을 확보했다. 이는 AI가 단순한 계산기가 아니라 의학적 논리를 갖춘 보조 전문가로 동작하게 함을 의미한다.

방법론

TableGPT2-7B 모델을 기반으로 하며, 표 구조를 인식하는 시맨틱 테이블 인코더와 Qwen2.5 기반의 디코더 아키텍처를 결합했다. 학습 시에는 QLoRA(Quantized Low-Rank Adaptation)를 적용하여 4비트 양자화 상태에서 저순위 행렬만을 업데이트함으로써 연산 효율성을 극대화했다.

입력 데이터는 텍스트 직렬화(Serialization) 대신 표의 구조를 유지하는 'Tabular Prompt' 방식을 채택했다. 퓨샷(Few-shot) 설정을 위해 ICL(In-Context Learning) 풀에서 무작위로 추출된 k개의 예시 사례를 타겟 환자 데이터 상단에 배치하여 모델이 문맥을 파악하도록 유도했다.

고차원 영상 데이터 처리를 위해 LASSO 회귀와 GPT-4.1-mini를 활용한 기능 선택(Feature Selection) 단계를 거쳤다. LASSO는 가중치의 절대값 합을 제한하는 L1 규제를 통해 중요도가 낮은 변수의 계수를 0으로 만들어 핵심 지표만 남기고, LLM은 의학적 중요도에 따라 변수의 순위를 매겨 입력 토큰 길이를 최적화했다.

주요 결과

QT-PAD 데이터셋에서 8-shot 설정 시 TAP-GPT는 평균 F1 스코어 0.89를 기록하며, 전통적 머신러닝 모델인 Random Forest(0.74)와 XGBoost(0.70)를 크게 상회했다. 일반 목적 LLM인 GPT-4.1-mini(0.81)와 비교해도 정형 데이터 특화 성능이 우수함을 입증했다.

결측치 강건성 실험에서 데이터의 50%를 무작위로 삭제(Masking)했음에도 불구하고 성능 저하가 완만하게 나타났으며, 이는 별도의 데이터 보간(Imputation) 없이도 모델이 불완전한 임상 데이터를 처리할 수 있음을 보여주었다.

자기 성찰(Self-Reflection) 적용 시 GPT-4.1-mini는 성능이 오히려 하락하는 경향을 보였으나, TAP-GPT는 여러 차례의 추론 과정에서도 예측의 일관성을 유지하며 멀티 에이전트 시스템으로의 확장 가능성을 증명했다.

기술 상세

TAP-GPT는 TableGPT2의 인코더-디코더 구조를 계승하며, 인코더는 고정(Frozen)하고 디코더에만 QLoRA 어댑터를 삽입하여 도메인 지식을 주입했다. 이는 사전 학습된 정형 데이터 표상 능력을 유지하면서 특정 질병 분류 태스크에 최적화하는 전략이다.

추론 시 'Constrained Decoding'을 사용하여 출력 공간을 {0, 1}로 제한함으로써 유효하지 않은 응답 생성을 방지했다. 해석 가능성을 위해 'Let's think step by step' 프롬프트를 추가하여 CoT(Chain-of-Thought)를 유도하고 결과를 구조화된 JSON으로 출력하도록 설계했다.

AT[N] 프레임워크(Amyloid, Tau, Neurodegeneration)에 기반한 멀티모달 데이터를 통합 처리했다. 각 모달리티별로 최적의 k(예시 수)와 p(기능 수)를 찾기 위해 Ablation Study를 수행했으며, QT-PAD 데이터셋에서는 k=8, 영상 데이터셋에서는 k=4가 최적의 성능을 보였다.

한계점

모델이 때때로 기능의 방향성(예: 대사 저하가 질병 징후임에도 FDG 수치 상승을 질병으로 오인)을 잘못 해석하거나 다른 환자의 값을 참조하는 추론 오류가 발생할 수 있다. 또한 고정된 TableGPT2 아키텍처로 인해 최신 LLM 백본으로의 즉각적인 교체가 제한적이다.

실무 활용

실제 임상 현장에서 바이오마커 수치와 MRI/PET 영상 분석 결과를 통합하여 의사의 진단을 보조하는 도구로 활용 가능하다.

소규모 병원의 부족한 환자 데이터를 활용한 퓨샷 진단 보조
결측치가 많은 실제 임상 기록 기반의 알츠하이머 조기 선별
진단 결과에 대한 의학적 근거(Reasoning) 자동 생성 및 리포트 작성

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)Tabular Data(정형 데이터)Alzheimer's Disease(알츠하이머병)Few-shot Learning(퓨샷 학습)Multimodal(멀티모달)

용어 해설

양자화 저순위 적응(QLoRA): — 모델 가중치를 4비트로 양자화하여 고정한 뒤, 저순위 행렬(Low-rank matrices)만을 학습시켜 메모리 사용량을 획기적으로 줄이면서도 성능을 유지하는 파인튜닝 기법이다. 수십억 개의 파라미터를 가진 대형 모델을 일반적인 GPU 환경에서도 효율적으로 학습할 수 있게 한다.
문맥 내 학습(In-Context Learning): — 모델의 가중치를 직접 수정하지 않고, 프롬프트 내에 몇 가지 예시(Few-shot)를 제공하여 모델이 새로운 작업의 패턴을 즉석에서 파악하고 수행하도록 유도하는 방식이다. 데이터가 부족한 상황에서 모델의 범용 지식을 특정 태스크에 활용하는 핵심 메커니즘이다.
라쏘 회귀(LASSO Regression): — 회귀 계수의 절대값 합에 비례하는 벌점(L1 규제)을 추가하여 중요하지 않은 변수의 계수를 0으로 만드는 통계적 기법이다. 고차원 데이터에서 핵심적인 특징(Feature)만을 선택하여 모델의 복잡도를 낮추고 해석력을 높이는 데 사용된다.
사고의 사슬(Chain-of-Thought): — 모델이 최종 정답을 내놓기 전에 중간 추론 단계를 거치도록 유도하는 프롬프팅 기법이다. 복잡한 논리적 판단이 필요한 의료 진단 분야에서 모델의 판단 근거를 명시적으로 드러내어 결과의 신뢰성과 해석 가능성을 확보한다.
AT[N] 프레임워크(AT[N] Framework): — 아밀로이드(A), 타우(T), 신경퇴행(N) 바이오마커를 기반으로 알츠하이머병을 생물학적으로 정의하는 진단 체계이다. 임상 증상에만 의존하던 과거와 달리, 뇌 영상 및 뇌척수액 검사 수치를 통해 병의 진행 상태를 객관적으로 분류한다.

멀티모달 생물 의학 데이터를 활용한 해석 가능한 퓨샷 알츠하이머병 예측을 위한 정형 데이터 특화 LLM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드