SymptomAI: 일상적인 증상 평가를 위한 대화형 AI 에이전트를 향하여

일상생활에서 발생하는 건강 증상을 AI가 전문 의료진 수준으로 정확하게 평가할 수 있음을 입증했다. 특히 사용자가 주도하는 대화보다 AI가 체계적으로 질문을 던지는 인터뷰 방식이 진단 정확도를 획기적으로 높인다는 점을 확인하여 미래 의료 AI의 방향성을 제시한다.

기존의 의료 AI 평가는 잘 정리된 교과서적 사례(Vignettes)에 치중되어 있어, 실제 사용자가 모호하고 불완전하게 설명하는 일상적인 증상에는 취약했다. 이는 딥러닝 모델이 입력 데이터의 품질에 민감하게 반응하기 때문인데, 본 논문은 이 문제를 '데이터 입력' 단계의 개선으로 해결한다.

핵심 아이디어는 LLM을 단순한 답변기가 아닌 '능동적인 정보 수집가'로 활용하는 것이다. 의료진이 환자의 병력을 청취할 때 사용하는 체계적인 질문 구조(HPI)를 프롬프트 엔지니어링을 통해 에이전트에 이식했다. 이를 통해 모델은 사용자의 첫 마디에만 의존하지 않고, 진단에 필요한 핵심 피처(증상 위치, 강도, 지속 시간 등)를 임베딩 공간에서 더 명확히 구분할 수 있도록 유도 질문을 던진다.

결과적으로 SymptomAI는 불충분한 컨텍스트를 스스로 보완함으로써 진단 확률 분포의 엔트로피를 낮추고, 실제 전문의가 차트를 보고 판단하는 것보다 더 정확한 감별 진단 목록을 생성할 수 있게 된다. 이는 모델의 추론 능력뿐만 아니라 대화 제어 전략이 의료 도메인에서 얼마나 중요한지를 보여준다.

SymptomAI는 Gemini 2.0 Flash 모델을 기반으로 하며, 다섯 가지 서로 다른 프롬프트 전략(Arms)을 통해 성능을 비교했다. 기본형(Base)은 일반적인 챗봇 형태이며, 고정형(Fixed) 및 유연형(Flexible) 전략은 표준 의료 인터뷰 질문을 강제한다. 동적(Dynamic) 전략은 모델이 실시간으로 진단 가능성을 업데이트하며 가장 필요한 질문을 스스로 판단하도록 설계됐다.

진단 정확도 평가를 위해 'Auto-rater'라는 LLM 기반 검증기를 도입했다. 이 검증기는 [환자의 실제 진단명 + AI가 생성한 감별 진단 목록]을 입력으로 받아 [두 텍스트 간의 의학적 일치 여부 및 순위]를 연산하여 [Top-5 정확도]를 출력한다. 수식적으로는 전문의의 수동 주석 데이터와 높은 상관관계(AUC = 0.84)를 보이도록 튜닝되어 대규모 데이터셋의 자동 평가를 가능케 했다.

웨어러블 데이터 분석에는 다변량 로지스틱 회귀 모델을 사용했다. [나이, 성별, 체중 등 공변량]을 입력으로 하고 [특정 질병 발생 여부]를 종속 변수로 하여 [생체 신호의 변화량]에 따른 오즈비(Odds Ratio)를 계산했다. 이를 통해 특정 질병 발생 시 생체 신호가 평소 대비 얼마나 유의미하게 변화하는지 수치화했다.

전문의 패널의 블라인드 평가 결과, SymptomAI의 Top-5 진단 정확도는 약 73%로, 동일한 대화 기록을 보고 진단한 임상 의사의 60%보다 유의미하게 높았다. 특히 의사들이 자신의 진단에 확신이 없을 정도로 정보가 부족한 상황에서도 SymptomAI는 더 강건한 성능을 유지했다.

프롬프트 전략별 비교에서는 능동적으로 질문을 던지는 전략(Arms 2-5)이 사용자 주도 대화(Arm 1)보다 평균 27.34% 높은 정확도를 기록했다. 이는 의료 AI에서 모델의 성능만큼이나 대화 설계가 결과에 결정적인 영향을 미침을 시사한다.

웨어러블 데이터 분석 결과, 인플루엔자(독감) 진단 시 휴식기 심박수와 호흡수가 급격히 상승하는 등 강한 상관관계(OR > 7)가 관찰됐다. 또한 증상 보고 전후의 생체 신호 변화를 통해 질병의 전조 증상을 포착할 수 있는 가능성을 확인했다.

SymptomAI의 아키텍처는 Gemini 2.0 Flash의 긴 컨텍스트 처리 능력과 빠른 추론 속도를 활용한다. 연구팀은 모델이 의료적 가이드라인을 준수하면서도 자연스러운 대화를 유지하도록 다단계 시스템 프롬프트를 설계했다. 특히 'Dynamic Live' 전략은 매 턴마다 잠재적 진단 목록을 갱신하고, 이 목록의 불확실성을 해소하기 위한 최적의 질문을 생성하는 최적화 루프를 포함한다.

성능 검증을 위해 구축된 'Auto-rater'는 Gemini 2.5 Pro를 사용하여 전문의의 판단 로직을 모사한다. 이는 단순한 키워드 매칭이 아니라, 'OA'와 'Osteoarthritis' 같은 약어 처리, 'poor sleep hygiene'과 'insomnia'의 의학적 차이 등을 구분할 수 있는 고도의 추론 능력을 갖추도록 설계됐다.

데이터 분석 측면에서는 PheWAS(Phenome-wide Association Study) 접근법을 적용하여 400여 개의 질병 카테고리와 8가지 주요 생체 신호 간의 연관성을 통계적으로 분석했다. 본 연구는 실제 사용자 환경(In-the-wild)에서 수집된 대규모 대화 데이터와 정밀 생체 데이터를 결합한 최초의 사례 중 하나로 기술적 가치가 높다.

사용자가 사후에 보고한 진단명을 정답(Ground Truth)으로 간주했기 때문에, 사용자의 기억 오류나 오보로 인한 데이터 노이즈가 존재할 수 있다. 또한 대조군인 의사들이 환자를 직접 대면 인터뷰한 것이 아니라 AI와의 대화 기록만을 보고 진단했기 때문에 실제 진료 환경과의 완벽한 비교에는 한계가 있다.