Colon-Bench: 전체 대장내시경 영상의 대규모 정밀 병변 주석 생성을 위한 에이전트 기반 워크플로우

대장내시경 영상은 길고 복잡하여 정밀한 데이터셋 구축이 매우 어렵지만, 이 논문은 AI 에이전트를 활용해 수작업을 최소화하면서도 방대한 규모의 고품질 의료 데이터셋을 구축하는 방법론을 제시한다. 이를 통해 최신 멀티모달 AI 모델들이 실제 의료 현장에서 병변을 얼마나 잘 식별하고 추론할 수 있는지 객관적으로 평가할 수 있는 기반을 마련했다.

왜 중요한가

핵심 기여

에이전트 기반 다단계 자동 주석 워크플로우

시간적 제안(Temporal Proposals), 바운딩 박스 추적, AI 시각적 확인, 인간 검토 단계를 결합하여 대규모 대장내시경 영상을 효율적으로 주석 처리하는 파이프라인을 구축했다.

대규모 다중 작업 벤치마크 Colon-Bench 구축

528개 영상, 14개 병변 카테고리, 30만 개 이상의 바운딩 박스 및 21만 개 이상의 세그멘테이션 마스크를 포함하는 포괄적인 의료 영상 데이터셋을 공개했다.

Colon-Skill 프롬프팅 전략 제안

MLLM의 오류 패턴을 분석하여 도메인 지식을 구조화된 텍스트 가이드로 제공함으로써, 추가 학습 없이 제로샷 성능을 최대 9.7% 개선했다.

핵심 아이디어 이해하기

대장내시경 영상은 프레임 간의 시공간적 연속성이 강하지만, 병변이 나타나는 구간은 매우 짧고 노이즈가 많다. 기존의 합성곱 신경망(CNN) 기반 검출기는 단일 프레임의 특징 추출에는 능숙하지만, 긴 영상 시퀀스에서 병변의 맥락을 파악하고 정밀한 주석을 생성하는 데는 연산 효율성과 일관성 측면에서 한계가 있었다. 이 논문은 딥러닝의 객체 추적(Object Tracking)과 시각적 질의응답(VQA) 기능을 에이전트 형태로 결합하여 이 문제를 해결한다. 모델이 영상의 특징 맵(Feature Map)을 분석해 병변 가능성이 높은 구간을 추천하면, 다른 에이전트가 해당 구간을 정밀하게 검토하고 픽셀 단위의 마스크를 생성하는 방식이다. 이는 마치 숙련된 의사가 의심되는 부위를 먼저 찾고 그 부위를 자세히 관찰하는 과정을 AI가 자동화한 것과 같다. 이를 통해 수작업 대비 훨씬 적은 비용으로 방대한 양의 고품질 의료 데이터를 확보할 수 있게 되었다.

방법론

주석 파이프라인은 크게 세 단계의 에이전트 협업으로 이루어진다. 첫째, VLM(Vision-Language Model) 에이전트가 영상 전체를 훑으며 병변이 나타나는 시작과 끝 시점을 제안한다. 둘째, 검증 에이전트가 제안된 구간의 시각적 특징을 재검토하여 오탐지(False Positive)를 제거한다. 셋째, 공간 로컬라이제이션 에이전트가 병변의 초기 위치를 바운딩 박스로 지정하면, EdgeTAM 알고리즘이 이를 이어받아 후속 프레임들로 마스크를 전파한다. [이전 프레임의 마스크 정보 → EdgeTAM의 메모리 뱅크 업데이트 → 현재 프레임의 마스크 생성] 과정을 통해 시공간적으로 연속적인 주석을 생성한다. 마지막으로 Colon-Skill 기법은 모델이 자주 틀리는 의학적 개념을 프롬프트에 명시적인 규칙으로 삽입한다. 이는 모델의 어텐션(Attention)이 병변의 핵심적인 형태학적 특징에 집중하도록 유도하여 추론 정확도를 높인다.

주요 결과

실험 결과, Gemini 3 Pro 모델이 VQA 작업에서 82.5%의 정확도를 기록하며 가장 우수한 성능을 보였다. 특히 세그멘테이션 성능 지표인 mIoU에서 Gemini 3 Flash는 48.3%를 달성하여, 범용 시각 모델인 SAM-3(2.5%)보다 의료 도메인 적응력이 월등히 높음을 증명했다. 프롬프트에 도메인 지식을 추가한 Colon-Skill 전략은 Qwen3.5 397B 모델의 성능을 9.7%p 향상시키는 등 제로샷 환경에서 강력한 개선 효과를 나타냈다. 이는 모델의 파라미터를 수정하지 않고도 전문 지식 주입만으로 의료 AI의 성능을 높일 수 있음을 시사한다. 프레임 수에 따른 성능 분석에서는 단일 프레임보다 다중 프레임(최대 7개)을 입력으로 사용할 때 세그멘테이션 품질이 지속적으로 향상됨이 확인되었다.

기술 상세

Colon-Bench는 528개의 비디오 클립으로 구성되며, 14가지의 병변 카테고리에 대해 30만 개 이상의 바운딩 박스와 21만 개 이상의 마스크를 제공한다. 이는 기존 데이터셋 대비 병변의 종류와 주석의 밀도 면에서 압도적인 규모이다. EdgeTAM 추적기는 SAM(Segment Anything Model)의 강력한 분할 능력을 유지하면서도, 의료 영상 특유의 급격한 카메라 움직임과 가림(Occlusion) 현상에 대응할 수 있도록 설계된 온디바이스 추적 모델이다. VQA 데이터셋 구축 시에는 텍스트 정보만으로 정답을 맞히는 편향을 제거하기 위해, 적대적 오답(Adversarial Distractors) 생성 및 블라인드 테스트를 거쳐 문제의 난이도와 객관성을 확보했다.

한계점

Colon-Bench는 학술 연구용으로만 제한되며 상업적 이용이 금지되어 있다. 또한 에이전트 파이프라인의 실시간 배포 최적화는 향후 과제로 남아 있다.

실무 활용

대규모 의료 영상 데이터셋 구축 비용을 획기적으로 낮출 수 있는 파이프라인이며, 실제 내시경 보조 AI 시스템의 성능 평가 도구로 즉시 활용 가능하다.

대장내시경 자동 판독문 생성 시스템 개발
실시간 병변 감지 및 추적 모델의 벤치마킹
의료 교육용 멀티모달 AI 튜터 구축

코드 공개 여부: 공개

코드 저장소 보기

키워드

MLLM(멀티모달 대형 언어 모델)VOS(비디오 객체 세그멘테이션)VQA(비디오 시각적 질의응답)Colonoscopy(대장내시경)Agentic Workflow(에이전트 워크플로우)

용어 해설

멀티모달 대형 언어 모델(MLLM): — 텍스트뿐만 아니라 이미지, 영상 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 인공지능 모델이다. 대장내시경 영상의 시각적 특징과 의학적 설명을 연결하는 데 핵심적인 역할을 한다.
오픈 보카벌러리 비디오 객체 세그멘테이션(OV-VOS): — 학습 단계에서 보지 못한 새로운 카테고리의 객체도 텍스트 설명을 기반으로 영상 내에서 픽셀 단위로 분할(Segmentation)하고 추적하는 기술이다.
에이전트 기반 워크플로우(Agentic Workflow): — 복잡한 작업을 여러 개의 작은 단계로 나누고, 각 단계를 전문화된 AI 에이전트가 순차적으로 해결하도록 설계된 작업 흐름이다. 데이터 주석의 정확도와 효율성을 극대화한다.

Colon-Bench: 전체 대장내시경 영상의 대규모 정밀 병변 주석 생성을 위한 에이전트 기반 워크플로우

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Gemini 3.7 Flash 영상 편집 결정 비교

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화

주석을 정답 rollout으로 쓰는 비디오 강화학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Gemini 3.7 Flash 영상 편집 결정 비교

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화

주석을 정답 rollout으로 쓰는 비디오 강화학습