수술용 AI에 관한 비교 연구: 데이터셋, 파운데이션 모델 및 의료 범용 인공지능(Med-AGI)으로의 장벽

최신 거대 시각 언어 모델(VLM)이 일반 벤치마크에서는 우수하지만, 실제 수술실의 복잡한 시각 과제에서는 여전히 한계가 있음을 증명했다. 모델 크기를 키우는 것보다 수술 도메인에 특화된 고품질 데이터와 전문적인 학습 방식이 의료 AI 성능 향상에 더 결정적임을 시사한다.

기존 AI 연구의 주류인 '스케일링 법칙'은 모델 크기와 데이터량을 늘리면 성능이 향상된다고 가정하지만, 수술 영상 분석과 같은 전문 도메인에서는 일반 인터넷 데이터로 학습된 VLM의 임베딩 공간이 수술 도구의 미세한 차이를 구분하기에 충분하지 않다는 한계가 있다. 본 논문은 이 문제를 해결하기 위해 범용 VLM에 LoRA를 적용해 수술 도메인 지식을 주입하고, 텍스트 생성 방식 대신 전용 분류 헤드를 부착해 정보 손실을 최소화하는 구조를 채택했다.

실험 결과, 단순히 모델의 용량(LoRA rank)을 키우는 것만으로는 수술 절차 간의 시각적 차이에서 발생하는 분포 변화를 극복할 수 없었다. 이는 수술 AI의 병목 현상이 모델의 지능 부족이 아니라, 수술실 내부의 암묵적 지식과 다양한 변수를 담은 특화 데이터의 부재에 있음을 의미한다. 결과적으로 범용 모델이 모든 문제를 해결할 것이라는 낙관론 대신, 도메인 특화 데이터 확보와 하이브리드 아키텍처의 필요성을 강조한다.

SDSC-EEA 신경외과 데이터셋(67,634 프레임)과 CholecT50 복강경 데이터셋을 활용해 19개 VLM의 제로샷 성능을 평가하고, Gemma 3 27B 모델을 베이스라인으로 선정해 파인튜닝 실험을 설계함. LoRA 파인튜닝 시 JSON 텍스트 생성 방식과 VLM의 은닉 상태에 선형 레이어를 연결한 분류 헤드 방식을 비교함.

분류 헤드 방식은 [이미지 특징 벡터 → 선형 레이어 → 시그모이드 활성화 → 0~1 사이의 확률값] 순으로 연산하여 31종의 수술 도구 각각에 대한 존재 여부를 판별함. 확률값이 0.5를 넘으면 해당 도구가 있는 것으로 간주하며, 이를 통해 정밀도와 재현율을 동시에 최적화함. 손실 함수로는 Binary Cross-Entropy를 사용하여 각 클래스별 오차를 독립적으로 계산하고 가중치를 갱신함.

모델의 용량 한계를 테스트하기 위해 LoRA rank r을 2에서 1024까지 스윕하며 학습 정확도와 검증 정확도의 괴리를 분석함. 또한 26M 파라미터의 YOLOv12-m을 학습시켜 객체 탐지 기반의 접근법과 VLM 기반 접근법의 효율성을 대조함. YOLOv12-m은 Bounding Box 정보를 직접 학습하여 공간적 특징을 더 명확히 파악하도록 구성됨.

제로샷 평가에서 가장 성능이 좋은 Qwen3-VL-235B조차 14.52%의 정확도에 그쳐, 단순히 가장 흔한 도구 세트만 예측하는 기준선(13.41%)을 간신히 넘음. 이는 범용 벤치마크 점수(MMBench)가 높더라도 수술 도구 감지 능력과는 상관관계가 낮음을 보여줌. MedGemma 3와 같은 의료 특화 모델도 제로샷 상황에서는 일반 모델보다 낮은 성능을 기록함.

Gemma 3 27B 모델에 분류 헤드를 적용한 파인튜닝 결과, 정확도가 51.08%로 향상되어 JSON 생성 방식(47.63%)보다 우수한 성능을 보임. 하지만 학습 정확도가 98.6%에 도달했음에도 검증 정확도는 40%대에 머물러 심각한 과적합과 일반화 실패가 관찰됨. 이는 모델 용량이 부족해서가 아니라 데이터의 분포 차이 때문임이 LoRA rank 스윕 실험을 통해 증명됨.

YOLOv12-m 모델은 54.73%의 정확도를 기록하며 모든 VLM 기반 방법론을 압도함. 특히 VLM보다 1,000배 적은 파라미터를 사용하면서도 더 높은 F1 스코어와 재현율을 기록함. CholecT50 데이터셋에서도 유사한 패턴이 반복되었으며, 유료 폐쇄형 모델(GPT-5.4, Gemini 3 등)들도 파인튜닝된 소형 모델보다 낮은 제로샷 성능을 보임.

연구팀은 31종의 수술 도구 클래스를 포함하는 대규모 신경외과 영상 데이터셋인 SDSC-EEA를 구축하고, 이를 통해 VLM의 도메인 적응 능력을 분석함. VLM의 Autoregressive한 텍스트 생성 방식이 수술 도구 감지에서 할루시네이션이나 형식 오류를 유발함을 확인하고, 이를 해결하기 위해 Mean-pooled Hidden State를 입력으로 받는 Linear Classification Head를 도입함.

실험에 사용된 YOLOv12-m은 Bounding Box 정보를 직접 학습하는 반면, VLM은 이미지 수준의 레이블만 학습한다는 차이가 있음. 이를 공정하게 비교하기 위해 Bounding Box 정보 없이 레이블만 학습한 ResNet-50 실험을 추가했으며, 이 역시 제로샷 VLM보다 우수한 성능(39.6%)을 보임. 이는 VLM의 사전 학습 데이터에 수술실 내부의 시각적 정보가 극히 부족함을 시사함.

결과적으로 'Med-AGI' 달성을 위해서는 모델 파라미터의 확장이 아닌, 수술 절차별 불균형(Class Imbalance) 해소와 기관 간 데이터 통합을 통한 도메인 커버리지 확대가 필수적임을 기술적으로 논증함. VLM을 전체 시스템의 오케스트레이터로 사용하고, 실제 지각 작업은 특화된 모듈에 위임하는 계층적 아키텍처를 향후 연구 방향으로 제시함.

수술 도구 감지라는 기초적인 지각 작업에만 국한되어 있으며, 수술 단계 인식이나 의사 결정 지원과 같은 고차원적인 기능은 평가하지 않음. 또한 오픈소스 모델 위주로 테스트되었으며, 폐쇄형 모델에 대한 신경외과 데이터셋 테스트는 데이터 보안 문제로 제한됨.