호주 의료 문서 학습을 위한 합성 데이터셋 생성 파이프라인 및 샘플 공개

작성자가 직접 개발한 데이터셋과 파이프라인에 대해 구체적인 기술 사양과 한계점을 명확히 밝혀 신뢰를 얻고 있습니다.

• LayoutLMv3나 Donut 모델 학습 시 제공된 bboxes_json 컬럼을 활용하여 레이아웃 학습을 수행할 수 있다.
• 스캔 품질 계층별 데이터를 활용하여 모델이 노이즈가 심한 문서에서도 정보를 잘 추출하는지 벤치마킹할 수 있다.

• 의료 데이터 접근 제한 문제를 해결하기 위해 실제 문서 레이아웃을 정밀하게 모방한 합성 PDF 생성 파이프라인을 구축했다.
• 생성 시점에 좌표를 직접 추출하는 방식을 통해 수동 작업 없는 고정밀 Bbox 주석 데이터를 확보했다.
• 네 단계의 스캔 노이즈 프로필을 제공하여 실제 현장의 열악한 문서 품질에 대한 모델의 강건성을 테스트할 수 있다.
• LayoutLMv3, Donut 등 문서 구조 이해가 필요한 Vision-Language 모델 학습에 즉시 활용 가능하다.