MIT 연구진, 컴퓨터 비전 모델의 의사결정 과정을 설명하는 새로운 개념 병목 모델 개발

섹션별 상세

기존의 개념 병목 모델(CBM)은 전문가가 사전에 정의한 개념을 사용하도록 강제하지만, 이는 실제 작업에 부적합하거나 모델의 정확도를 떨어뜨리는 한계가 있었다. 전문가가 제안한 개념이 이미지의 세부 사항을 충분히 반영하지 못할 경우 모델의 성능이 저하되는 문제가 발생한다.

의사가 AI라고 적힌 청진기를 들고 있으며, 이는 체크표시가 된 클립보드와 연결되어 있다. — Infographic이 이미지는 새로운 기술이 의료 진단과 같은 고위험 환경에서 AI 모델의 예측을 인간이 이해할 수 있는 개념으로 변환하여 설명하는 과정을 시각화한다. AI가 내린 판단의 근거를 의사가 검토하고 신뢰할 수 있게 돕는다는 핵심 주제를 상징한다.

MIT 연구진은 모델이 방대한 데이터를 학습하며 스스로 습득한 내부 개념을 직접 추출하는 방식을 채택했다. Sparse Autoencoder를 활용해 모델의 특징 중 가장 관련성 높은 요소를 선택하고 이를 인간이 이해할 수 있는 형태의 개념으로 재구성한다. 이는 모델이 실제로 중요하게 여기는 정보를 바탕으로 설명을 생성하게 한다.

추출된 개념은 멀티모달 LLM으로 전달되어 일상적인 언어로 설명된다. 이 LLM은 데이터셋의 이미지에 해당 개념이 포함되어 있는지 주석을 다는 역할도 수행하며, 이 데이터를 바탕으로 개념 병목 모듈이 훈련된다. 최종적으로 어떤 사전 학습된 비전 모델이라도 설명 가능한 구조로 변환이 가능하다.

정보 누출(Information Leakage) 문제를 방지하기 위해 각 예측에 사용되는 개념을 5개로 제한했다. 모델이 알 수 없는 특징을 몰래 사용하여 성능을 높이는 것을 막고, 사용자에게는 더욱 간결하고 명확한 설명을 제공하여 의사결정의 투명성을 높였다.

새로운 기법을 조류 종 식별 및 피부 병변 진단 작업에 적용한 결과 기존의 최첨단 CBM들보다 높은 정확도를 기록했다. 다만 해석 가능성과 정확도 사이의 트레이드오프는 여전히 존재하며, 완전히 불투명한 블랙박스 모델의 성능에는 아직 미치지 못하는 것으로 나타났다.

기술

Sparse Autoencoder
Multimodal LLM
Concept Bottleneck Models

활용 사례

의료 영상 진단 보조
자율 주행 의사결정 분석
조류 종 식별

언급된 리소스

논문Learning Concept Bottleneck Models from Mechanistic Explanations

MIT 연구진, 컴퓨터 비전 모델의 의사결정 과정을 설명하는 새로운 개념 병목 모델 개발

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

AI의 '마음'을 들여다보다: 기계적 해석 가능성(Mechanistic Interpretability) 연구

에이전트에게 눈을 달아주면 벌어지는 일: 시각적 인지 능력이 성능과 신뢰도를 높이는 방법

의료 AI 보조의 효과는 사용자 전문성에 따라 달라진다

관련 토론

댓글

관련 기사

AI의 '마음'을 들여다보다: 기계적 해석 가능성(Mechanistic Interpretability) 연구

에이전트에게 눈을 달아주면 벌어지는 일: 시각적 인지 능력이 성능과 신뢰도를 높이는 방법

의료 AI 보조의 효과는 사용자 전문성에 따라 달라진다