ArchEHR-QA 2026의 sebis: 로컬에서 어디까지 가능할까? 단일 노트북에서의 근거 기반 전자 건강 기록 질의응답 평가

의료 데이터는 민감한 개인정보를 포함하고 있어 클라우드 기반 LLM 사용이 어렵습니다. 이 논문은 외부 API나 고성능 서버 없이 일반 노트북 사양의 로컬 환경에서도 충분히 경쟁력 있는 의료 질의응답 시스템을 구축할 수 있음을 입증하여 실질적인 의료 현장 도입 가능성을 제시합니다.

의료 질의응답 시스템은 환자의 민감한 정보를 다루기 때문에 클라우드 의존도를 낮추는 것이 필수적이다. 이 논문은 Embedding과 Quantization이라는 두 가지 핵심 개념을 결합하여 로컬 환경의 한계를 극복한다. Embedding은 텍스트를 고차원 공간의 숫자로 변환하여 질문과 진료 기록 간의 유사도를 빠르게 계산하게 하며, Quantization은 모델의 정밀도를 낮춰 일반 노트북의 제한된 메모리에서도 대형 모델이 돌아가게 한다.

기존 방식이 방대한 연산 자원을 필요로 했다면, 본 연구는 모델을 경량화하고 효율적인 검색 알고리즘을 적용하여 '단일 노트북'이라는 제약 조건 하에서도 정확한 답변을 생성할 수 있음을 보여준다. 특히 실제 데이터가 부족한 의료 도메인의 특성을 고려하여, LLM이 스스로 학습용 데이터를 생성하고 수정하는 자가 증강 방식을 통해 모델의 안정성을 확보했다.

결과적으로 고가의 GPU 서버나 외부 API 연결 없이도 병원 내부의 표준 워크스테이션에서 환자의 질문에 답하고 그 근거를 진료 기록에서 찾아 제시하는 신뢰할 수 있는 AI 시스템 구축이 가능해졌다. 이는 기술적 성능과 프라이버시 보호라는 두 마리 토끼를 잡는 접근법이다.

전체 시스템은 네 가지 하위 작업으로 구성된 파이프라인 구조를 가진다. 첫째, 질문 해석 단계에서는 Qwen3-4B 및 gpt-oss-120b 모델을 Few-shot Prompting 방식으로 사용하여 환자의 질문을 15단어 이내의 임상 쿼리로 변환한다. 둘째, 증거 식별 단계에서는 Qwen3-Embedding-8B를 이용한 코사인 유사도 계산 방식을 적용한다. [질문 임베딩 벡터와 각 문장 임베딩 벡터의 내적을 계산하여 → 유사도 점수를 도출하고 → 특정 임계값을 넘는 문장을 선택함 → 선택된 문장은 답변의 직접적인 근거가 됨]

셋째, 답변 생성 단계에서는 식별된 증거 문장들만을 입력으로 받아 75단어 이내의 답변을 생성하며, 넷째, 증거 정렬 단계에서는 생성된 답변의 각 문장이 원문 기록의 어떤 부분에서 유도되었는지 연결하는 다대다 매핑을 수행한다. 학습 데이터 부족을 해결하기 위해 Llama 3.1-70B를 로컬에 배포하여 합성 데이터를 생성하며, 초기 생성 후 LLM 기반의 수정을 거치는 2단계 파이프라인을 통해 문장 길이와 레이블 비율을 실제 데이터 분포와 유사하게 맞춘다.

모든 모델은 MLX 프레임워크를 통해 4-bit 양자화되어 Apple Silicon 하드웨어에서 효율적으로 실행되도록 최적화되었다. 특히 증거 식별 및 정렬 작업에서는 HYDRA 아키텍처를 적용하여 공유된 표현 레이어 위에 다중 분류 헤드를 배치함으로써 문장 간의 미세한 관련성을 포착하도록 설계했다.

Subtask 1(질문 해석)에서 gpt-oss-120b 모델을 사용한 5-shot 설정이 가장 높은 성능을 보였으며, BERTScore 기준 39.30점을 기록했다. 소형 모델인 Qwen3-4B도 적절한 프롬프트 구성을 통해 대형 모델에 근접하는 성능을 낼 수 있음을 확인했다. Subtask 2(증거 식별)에서는 Qwen3-Embedding-8B 기반의 유사도 측정 방식이 미세 조정된 Bio_ClinicalBERT보다 우수한 Strict F1 51.61점을 달성했다.

Subtask 4(증거 정렬)에서는 Qwen3.5-35B 모델을 활용한 List-wise Prompting 방식이 Micro-F1 74.84점으로 가장 높은 성능을 기록했다. 모든 실험은 Apple M4 Pro 칩이 탑재된 MacBook Pro(48GB RAM) 환경에서 성공적으로 수행되었으며, 클라우드 기반 시스템과 비교해도 경쟁력 있는 순위를 기록하며 로컬 시스템의 실용성을 입증했다.

아키텍처는 인코더 기반의 분류 모델(Bio_ClinicalBERT, DeBERTa)과 디코더 기반의 생성 모델(Qwen 시리즈, gpt-oss)을 혼합하여 사용한다. 대형 모델의 로컬 실행을 위해 MLX 프레임워크를 활용한 4-bit 양자화를 적용하여 메모리 효율성을 극대화했다. 합성 데이터 생성 시, 단순 생성을 넘어 'LLM-based repairs' 단계를 도입하여 생성된 데이터가 수동으로 정의된 품질 임계값(문장 길이 10-500자, 필수 레이블 비율 10-40% 등)을 충족하도록 강제했다.

증거 식별 및 정렬 작업에서 'HYDRA'라고 불리는 다중 헤드(Multi-head) 학습 방식을 적용했다. 이는 공유된 표현 레이어 위에 3-way 세부 분류 헤드와 2-way 이진 분류 헤드를 동시에 배치하여 미세한 관련성을 더 잘 포착하도록 설계된 구조이다. 또한 MedCPT-Cross-Encoder와 같은 도메인 특화 모델을 활용하여 쿼리와 임상 텍스트 간의 직접적인 쌍별 관련성 점수를 계산함으로써 검색 성능을 최적화했다.

로컬 하드웨어(Apple M4 Pro, 48GB RAM)에 의존하고 있어 이보다 더 낮은 사양의 엣지 기기(모바일, 태블릿)에서의 성능은 아직 검증되지 않았다. 또한 ArchEHR-QA 데이터셋에 국한된 평가이므로 다양한 임상 분야나 다국어 환경으로의 일반화 가능성에는 제약이 있을 수 있다.