Claude를 활용한 공공 데이터 파싱 및 투명성 프로젝트 'Gastômetro' 개발기

실용적 조언

파편화된 데이터를 다룰 때는 LLM을 활용해 파싱 로직을 자동화하고, 최종 결과물은 인간이 직접 검수하여 객관성을 확보한다.

섹션별 상세

정부 데이터는 수십 개의 포털에 흩어져 있고 CSV, 스프레드시트, HTML 등 형식이 제각각이라 시민이 접근하기 어렵다. 이러한 파편화된 데이터는 표준화되지 않아 일반 시민이 내용을 파악하는 데 큰 장벽이 존재한다. 작성자는 이러한 문제를 해결하기 위해 공공 데이터를 통합하는 프로젝트를 기획했다.

작성자는 Claude를 활용해 이 파편화된 데이터를 파싱하고 정제하는 '데이터 고고학' 작업을 수행했다. Claude는 복잡하고 일관성 없는 파일 구조를 이해하고, 데이터를 추출하는 로직을 생성하는 데 탁월한 성능을 보였다. 수주가 걸릴 수 있는 수동 작업을 며칠 만에 완료할 수 있었다.

작성자는 AI가 생성한 결과물을 검수하고, '부정'이나 '범죄'와 같은 단정적 표현을 배제하는 편집 방향을 직접 설정했다. AI는 데이터 생성과 분석을 담당하고, 인간은 데이터의 맥락을 해석하고 큐레이션하는 역할을 수행했다. 이러한 인간의 개입은 데이터의 객관성을 유지하는 데 필수적이다.

이 프로젝트는 오픈 소스로 공개되어 다른 지역에서도 설정을 변경하여 쉽게 재사용할 수 있도록 설계되었다. 작성자는 자신이 겪은 데이터 파싱의 어려움을 다른 사람이 겪지 않도록 하는 것을 목표로 한다. 이는 기술을 활용해 공공의 이익을 도모하는 시민 참여형 투명성 프로젝트의 좋은 사례이다.

용어 해설

데이터 고고학(Data Archaeology): — 파편화되고 형식이 제각각인 데이터를 발굴하여 분석 가능한 형태로 정제하는 작업을 의미한다. 이 아티클에서는 정부의 다양한 포털에 흩어진 비정형 데이터를 Claude를 통해 파싱하고 구조화하는 과정을 '데이터 고고학'으로 비유했다.
오픈 소스(Open-Source): — 소스 코드가 공개되어 누구나 자유롭게 사용, 수정, 배포할 수 있는 소프트웨어 개발 방식을 의미한다. 이 아티클에서는 시민들이 공공 데이터를 쉽게 확인하고 다른 지역에서도 프로젝트를 재사용할 수 있도록 코드를 공개한 사례로 언급된다.

언급된 도구

Claude추천

데이터 파싱 및 정제

언급된 리소스

DemoGastômetro Site

GitHubGastômetro GitHub

문서Full Story Blog Post