Postgres, DuckDB, PySpark를 지원하는 데이터 클리닝 프레임워크: Datacompose

작성자가 직접 프로덕션 환경에서 사용하며 검증한 도구라는 점에서 긍정적인 반응을 얻었으며, 특히 날짜 데이터 처리의 안정성이 언급됐다.

• 여러 데이터 엔진을 사용하는 프로젝트에서 의존성 충돌이 우려된다면 패키지 설치 대신 필요한 로직만 복사해 사용하는 방식을 고려할 것
• Databricks 스타일의 구문을 선호한다면 sqlframe을 활용해 다른 SQL 엔진으로 로직을 이식할 수 있음

복사 소유 방식(Copy-to-own)

— 외부 라이브러리를 패키지 형태로 설치하는 대신, 필요한 소스 코드 조각을 자신의 프로젝트 코드베이스에 직접 복사하여 관리하는 소프트웨어 배포 방식이다. shadcn UI와 같은 라이브러리에서 대중화되었으며, 외부 의존성 충돌을 방지하고 사용자가 코드를 자유롭게 수정 및 감사할 수 있게 한다.

sqlframe

— 다양한 SQL 엔진 간의 구문 차이를 추상화하여 하나의 공통된 API(주로 PySpark 스타일)로 여러 데이터베이스에서 쿼리를 실행할 수 있게 돕는 오픈소스 라이브러리이다. 엔진별로 SQL을 새로 작성할 필요 없이 로직의 이식성을 높여주는 역할을 한다.

데이터 클리닝(Data Cleaning)

— 원천 데이터에 포함된 오류, 중복, 누락, 부정확한 형식 등을 식별하고 수정하여 데이터의 품질을 개선하는 전처리 과정이다. 분석이나 모델 학습 전 단계에서 데이터의 신뢰성을 확보하기 위해 필수적으로 수행된다.