Colon-Bench: 전체 대장내시경 영상의 대규모 정밀 병변 주석 생성을 위한 에이전트 기반 워크플로우

대장내시경 영상은 길고 복잡하여 정밀한 데이터셋 구축이 매우 어렵지만, 이 논문은 AI 에이전트를 활용해 수작업을 최소화하면서도 방대한 규모의 고품질 의료 데이터셋을 구축하는 방법론을 제시한다. 이를 통해 최신 멀티모달 AI 모델들이 실제 의료 현장에서 병변을 얼마나 잘 식별하고 추론할 수 있는지 객관적으로 평가할 수 있는 기반을 마련했다.

대장내시경 영상은 프레임 간의 시공간적 연속성이 강하지만, 병변이 나타나는 구간은 매우 짧고 노이즈가 많다. 기존의 합성곱 신경망(CNN) 기반 검출기는 단일 프레임의 특징 추출에는 능숙하지만, 긴 영상 시퀀스에서 병변의 맥락을 파악하고 정밀한 주석을 생성하는 데는 연산 효율성과 일관성 측면에서 한계가 있었다. 이 논문은 딥러닝의 객체 추적(Object Tracking)과 시각적 질의응답(VQA) 기능을 에이전트 형태로 결합하여 이 문제를 해결한다. 모델이 영상의 특징 맵(Feature Map)을 분석해 병변 가능성이 높은 구간을 추천하면, 다른 에이전트가 해당 구간을 정밀하게 검토하고 픽셀 단위의 마스크를 생성하는 방식이다. 이는 마치 숙련된 의사가 의심되는 부위를 먼저 찾고 그 부위를 자세히 관찰하는 과정을 AI가 자동화한 것과 같다. 이를 통해 수작업 대비 훨씬 적은 비용으로 방대한 양의 고품질 의료 데이터를 확보할 수 있게 되었다.

주석 파이프라인은 크게 세 단계의 에이전트 협업으로 이루어진다. 첫째, VLM(Vision-Language Model) 에이전트가 영상 전체를 훑으며 병변이 나타나는 시작과 끝 시점을 제안한다. 둘째, 검증 에이전트가 제안된 구간의 시각적 특징을 재검토하여 오탐지(False Positive)를 제거한다. 셋째, 공간 로컬라이제이션 에이전트가 병변의 초기 위치를 바운딩 박스로 지정하면, EdgeTAM 알고리즘이 이를 이어받아 후속 프레임들로 마스크를 전파한다. [이전 프레임의 마스크 정보 → EdgeTAM의 메모리 뱅크 업데이트 → 현재 프레임의 마스크 생성] 과정을 통해 시공간적으로 연속적인 주석을 생성한다. 마지막으로 Colon-Skill 기법은 모델이 자주 틀리는 의학적 개념을 프롬프트에 명시적인 규칙으로 삽입한다. 이는 모델의 어텐션(Attention)이 병변의 핵심적인 형태학적 특징에 집중하도록 유도하여 추론 정확도를 높인다.

실험 결과, Gemini 3 Pro 모델이 VQA 작업에서 82.5%의 정확도를 기록하며 가장 우수한 성능을 보였다. 특히 세그멘테이션 성능 지표인 mIoU에서 Gemini 3 Flash는 48.3%를 달성하여, 범용 시각 모델인 SAM-3(2.5%)보다 의료 도메인 적응력이 월등히 높음을 증명했다. 프롬프트에 도메인 지식을 추가한 Colon-Skill 전략은 Qwen3.5 397B 모델의 성능을 9.7%p 향상시키는 등 제로샷 환경에서 강력한 개선 효과를 나타냈다. 이는 모델의 파라미터를 수정하지 않고도 전문 지식 주입만으로 의료 AI의 성능을 높일 수 있음을 시사한다. 프레임 수에 따른 성능 분석에서는 단일 프레임보다 다중 프레임(최대 7개)을 입력으로 사용할 때 세그멘테이션 품질이 지속적으로 향상됨이 확인되었다.

Colon-Bench는 528개의 비디오 클립으로 구성되며, 14가지의 병변 카테고리에 대해 30만 개 이상의 바운딩 박스와 21만 개 이상의 마스크를 제공한다. 이는 기존 데이터셋 대비 병변의 종류와 주석의 밀도 면에서 압도적인 규모이다. EdgeTAM 추적기는 SAM(Segment Anything Model)의 강력한 분할 능력을 유지하면서도, 의료 영상 특유의 급격한 카메라 움직임과 가림(Occlusion) 현상에 대응할 수 있도록 설계된 온디바이스 추적 모델이다. VQA 데이터셋 구축 시에는 텍스트 정보만으로 정답을 맞히는 편향을 제거하기 위해, 적대적 오답(Adversarial Distractors) 생성 및 블라인드 테스트를 거쳐 문제의 난이도와 객관성을 확보했다.

Colon-Bench는 학술 연구용으로만 제한되며 상업적 이용이 금지되어 있다. 또한 에이전트 파이프라인의 실시간 배포 최적화는 향후 과제로 남아 있다.