건설 도면 판독에서 드러난 AI의 한계

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

건설 도면에서 문·창문·설비·벽·방을 추출해 실제 수량 산출에 활용할 수 있는지 6개 시스템을 비교한 벤치마크입니다. 312개 건축 도면과 객체 24,771개, 벽 형태 59,328개, 면적 형태 16,112개를 사용했으며, 객체 탐지 F1은 Kamai 0.929에 비해 Gemini 3.7 Flash 0.062, Claude Opus 5 0.049 등 일반 모델에서 크게 낮았습니다. 일반 모델은 건물 전체 면적을 픽셀 단위로 찾을 때 최대 0.799 area pixel F1을 기록했지만, 이를 개별 방으로 나누는 area-instance F1은 0.078~0.227로 떨어졌습니다. 따라서 도면에서 건물 위치를 찾는 능력과 수량 산출에 필요한 객체·공간 구조화 능력 사이에 큰 차이가 있으며, 작성자는 15개 도면과 정답 데이터·시트별 결과·채점 코드를 공개했습니다.

실용적 조언

공개된 15개 도면과 ground truth, scoring code를 사용해 다른 시스템의 객체 탐지 F1과 area-instance F1을 동일 조건에서 측정할 수 있습니다.
건설 도면용 시스템을 평가할 때 건물 전체 영역의 pixel F1만 보지 말고 문·창문·설비·벽·방을 개별 인스턴스로 복원하는 성능을 별도로 확인해야 합니다.

섹션별 상세

01

이 벤치마크는 건설 도면을 자연어로 요약하는 능력이 아니라 실제 수량 산출에 필요한 문, 창문, 위생 설비, 주방 설비, 벽, 방을 구조화해 추출하는 능력을 평가했습니다. 312개 실제 건축 도면에 객체 24,771개, 벽 형태 59,328개, 면적 형태 16,112개를 배치하고, 하나의 PDF를 입력하면 하나의 응답을 받는 동일 조건으로 6개 시스템을 비교했습니다. 도면은 일반 문서보다 페이지당 기호와 객체가 훨씬 많고, 객체 의미도 자연어가 아닌 제도 관례에 좌우되기 때문에 문서 이해 모델의 일반적인 성능만으로는 충분하지 않다는 문제의식이 출발점입니다.

02

객체 탐지에서는 Kamai가 F1 0.929를 기록했지만 Gemini 3.7 Flash는 0.062, Claude Opus 5는 0.049, Claude Fable 5는 0.037, Gemini 3.1 Pro는 0.023, GPT-5.6 Sol은 0.015에 그쳤습니다. 반면 전체 면적을 픽셀 단위로 분할하는 작업에서는 일반 모델이 0.612~0.799 area pixel F1을 기록했지만, 해당 면적을 실제 개별 방으로 나누는 area-instance F1은 0.078~0.227로 급락했습니다. 이는 모델이 건물이 있는 위치와 대략적인 외곽은 파악해도 수량 산출에 필요한 방 단위 인스턴스와 객체 목록으로 변환하는 과정에서는 신뢰성이 부족하다는 뜻입니다.

03

작성자는 재현을 위해 15개 도면, 정답 데이터, 시트별 결과, 고정된 클래스 체계와 채점 코드를 공개했습니다. 공개된 GitHub 저장소와 Arxiv 논문을 이용하면 다른 시스템을 같은 조건에서 평가하거나 채점 절차를 다시 실행할 수 있습니다. 이 자료는 Document AI, Computer Vision, AEC, Multimodal Model 연구에서 전체 영역 분할과 개별 인스턴스 복원을 별도 과제로 측정해야 한다는 비교 기준을 제공합니다.

이미지 분석

Diagram
논문 초록은 312개 실제 건축 도면에서 객체 탐지와 면적·벽 분할을 평가하는 절차를 설명합니다. 오른쪽 비교 그림은 Ground truth와 Kamai, Gemini 3.7 Flash, Gemini 3.1 Pro, Claude Opus 5, GPT-5.6 Sol의 도면 영역 예측을 나란히 배치해 시스템별 복원 차이를 시각화합니다. 이는 전체 면적을 찾는 결과와 개별 공간을 정확히 나누는 결과가 서로 다를 수 있다는 글의 핵심과 연결됩니다.
PDF 형식 건설 도면에서 객체와 면적을 추출하는 AEC 벤치마크 논문의 첫 페이지입니다.

Diagram
이미지에는 8개 건축 객체 종류, 24,771개 객체 인스턴스, 16,112개 면적, 59,328개 벽 형태를 포함한 평가 규모가 나타나 있습니다. 비교 패널의 수치는 Kamai v1 Aug26 0.949, Gemini 3.7 Flash 0.247, Gemini 3.1 Pro 0.133, Claude Opus 5 0.261, GPT-5.6 Sol 0.172로 표시되어 시스템마다 도면 구조 복원 결과가 크게 달라짐을 보여줍니다. 본문에 적힌 전체 객체 탐지 F1과 특정 시각화 수치가 다를 수 있으므로, 이미지는 정량 비교의 보조 자료로 해석해야 합니다.
건설 도면 데이터 추출 논문의 첫 페이지와 시스템별 예측 결과를 담은 이미지입니다.

용어 해설

객체 탐지(Object Detection): — 이미지에서 문·창문·설비처럼 미리 정한 객체의 위치와 종류를 찾아내는 컴퓨터 비전 작업입니다. 입력된 도면에서 객체별 경계나 위치를 추출하고 정답과 비교해 F1 점수로 성능을 평가합니다. 건설 수량 산출에서는 어떤 객체가 몇 개 있는지 파악하는 기반 단계입니다.
픽셀 F1(Pixel F1): — 예측 영역과 실제 영역이 픽셀 단위로 얼마나 겹치는지 측정하는 평가 지표입니다. 모델이 건물 전체 영역을 올바른 픽셀로 채웠는지 정밀도와 재현율을 결합해 계산합니다. 이 글에서는 전체 면적 분할 성능과 개별 방 구분 성능의 차이를 비교하는 데 쓰였습니다.
인스턴스 F1(Instance F1): — 하나의 전체 영역이 아니라 각각의 방이나 객체를 개별 인스턴스로 정확히 분리했는지 평가하는 F1 지표입니다. 모델이 건물 외곽을 맞히더라도 방을 서로 다른 영역으로 나누지 못하면 점수가 낮아집니다. 실제 수량 산출에 필요한 구조화된 공간 정보를 평가하는 지표입니다.
벽 분할(Wall Segmentation): — 건축 도면에서 벽에 해당하는 픽셀이나 도형을 다른 영역과 분리하는 작업입니다. 이 벤치마크는 59,328개의 벽 형태를 정답 데이터로 삼아 모델 출력과 비교했습니다. 벽의 위치와 형태를 복원해야 방 경계와 건물 구조를 정확히 얻을 수 있습니다.
수량 산출(Quantity Takeoff): — 건설 도면에서 문·창문·설비·벽·방 등의 객체를 추출해 공사에 필요한 수량을 계산하는 절차입니다. 단순히 도면이 건물 평면도라는 사실을 인식하는 것보다 각 객체와 개별 공간을 구조화해야 합니다. 글에서는 AI 도면 판독의 최종적인 실무 기준으로 활용됩니다.

언급된 리소스

GitHubGithub

논문Arxiv