데이터 정리를 즐겁게 만드는 Python 라이브러리 5선

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

실무 데이터 정리는 모델 학습이나 대시보드 실행 전에 열 이름, 결측값, 자료형, 중복, 문자열 인코딩을 바로잡아야 하므로 코드가 길고 오류가 생기기 쉽습니다. pyjanitor는 pandas 작업을 체이닝하고, Great Expectations는 배치별 품질 규칙과 HTML 보고서를 운영하며, ftfy는 깨진 Unicode를 복원합니다. ydata-profiling은 결측값과 분포, 이상치, train·test drift를 자동으로 점검하고, Cerberus는 JSON과 중첩 dict에 자료형·필수 필드·사용자 규칙을 적용합니다. 따라서 DataFrame 정리, 텍스트 수집, 데이터셋 사전 감사, 파이프라인 경계 검증, API 입력 검사를 각각 적합한 도구로 분리할 수 있습니다.

섹션별 상세

pandas는 일반적인 데이터 정리에 충분하지만, 대규모 실무 데이터에서는 열 이름 불일치, 결측값, 자료형 차이, 중복 행, 유사 문자열을 처리하는 코드가 길고 오류가 생기기 쉽습니다. 이 글은 이런 문제를 더 짧은 코드와 명확한 API로 처리하는 다섯 Python 라이브러리를 작업 유형별로 나눕니다. DataFrame 구조 정리부터 문자열 복원, 품질 진단, 스키마 검증까지 데이터가 모델 학습이나 대시보드에 들어가기 전의 처리 경계를 넓히는 구성이 핵심입니다.

pyjanitor는 pandas 위에 동작하는 verb 기반 API를 추가해 여러 정리 작업을 하나의 method-chaining 파이프라인으로 연결합니다. clean_names()는 열 이름의 대소문자와 공백, 특수문자를 한 번에 정리하고 collapse_levels()는 groupby에서 생긴 MultiIndex 열을 일반 문자열 이름으로 평탄화합니다. 열 이름 표준화, 결측 행 제거, 범주형 인코딩, 행 필터링을 분산된 df 대입문 대신 선언적인 흐름으로 묶을 수 있어 반복적인 CSV 처리 파이프라인의 가독성을 높입니다.

Great Expectations는 데이터가 어떤 상태여야 하는지 named expectation으로 정의하고 들어오는 각 배치에 같은 규칙을 적용하는 품질 프레임워크입니다. 열 존재 여부, 자료형, 값 범위, null 비율, 유일성, 정규식, 분포 조건을 expectation suite로 묶으며, 결과는 expectation별 통과·실패 내역을 담은 탐색 가능한 HTML 보고서로 출력됩니다. Data Docs는 규칙을 데이터 문서로 자동 변환하고 Checkpoints는 Airflow나 Prefect 같은 orchestration pipeline 안에서 검증을 실행하므로, 일회성 assert보다 파이프라인 경계의 오류를 지속적으로 추적하기 쉽습니다.

python

ftfy.fix_text(s)

깨진 문자열을 별도 설정 없이 의도한 텍스트에 가깝게 복원합니다.

ftfy는 Excel을 거친 CSV나 여러 레거시 시스템을 통과한 사용자 생성·스크래핑 텍스트에서 발생하는 mojibake와 잘못된 Unicode를 복원하는 단일 목적 라이브러리입니다. 잘못 식별되거나 이중 인코딩된 문자 집합을 감지하고, Unicode 표현을 정규화하며, downstream 문자열 매칭을 방해하는 invisible character와 zero-width space를 제거합니다. 대부분의 사용 사례에서는 ftfy.fix_text(s) 한 번으로 문자열을 입력해 복원된 결과를 얻으므로 복잡한 설정 없이 텍스트 수집 단계에 삽입할 수 있습니다.

ydata-profiling은 pandas DataFrame을 입력받아 한 줄의 코드로 대화형 HTML EDA 보고서를 생성하고, 사람이 일일이 확인하던 품질 항목을 한 화면에 모읍니다. 결측값, 중복 행, 치우친 분포, 고유값이 많은 범주형 열, 상관관계, 이상치와 함께 constant column과 의심스러운 cardinality를 표시하며 HTML, JSON, notebook widget 형식으로 결과를 저장합니다. train과 test split을 비교하는 기능도 제공하므로 모델 학습 뒤에 문제를 발견하기보다 새 데이터셋의 품질 위험과 분포 차이를 먼저 파악할 수 있습니다.

python

validator.validate(document)

Cerberus 스키마에 따라 문서의 유효성을 검사하고 필드별 오류를 확인합니다.

Cerberus는 DataFrame이 아닌 JSON 응답, event log, 설정 파일, document store export처럼 중첩된 Python dictionary와 데이터 구조를 검증하는 가벼운 스키마 라이브러리입니다. 일반 Python dict로 필드별 type, required, allowed, regex 규칙을 정의한 뒤 validator.validate(document)를 호출하며, coercion 규칙은 입력 문자열을 int, float, datetime으로 변환하면서 자료형 검사를 함께 수행합니다. 임의 깊이의 중첩 문서와 하위 문서 목록을 처리하고 사용자 정의 Python 함수도 연결할 수 있어, ingestion 단계에서 잘못된 레코드를 거부하고 필드별 오류를 로그나 API 응답으로 전달할 수 있습니다.

용어 해설

메서드 체이닝(Method Chaining): — 여러 데이터 처리 작업을 중간 변수에 반복해서 대입하지 않고 하나의 연속된 호출문으로 연결하는 방식입니다. pyjanitor는 이 패턴을 활용해 열 이름 변경, 결측값 제거, 행 필터링을 읽기 쉬운 처리 흐름으로 구성합니다.
문자 깨짐(Mojibake): — 텍스트를 저장하거나 읽는 과정에서 문자 인코딩을 잘못 해석해 원래 문자가 알아보기 힘든 기호와 다른 문자로 바뀐 상태입니다. ftfy는 이중 인코딩과 잘못 식별된 문자 집합에서 발생한 문제를 복원합니다.
Unicode 정규화(Unicode Normalization): — 겉보기에는 같은 문자가 서로 다른 코드 조합으로 저장되는 문제를 일관된 Unicode 표현으로 맞추는 처리입니다. 이 과정은 보이지 않는 문자와 zero-width space를 제거해 문자열 비교와 검색의 불일치를 줄입니다.
데이터 드리프트(Data Drift): — 시간이 지나거나 데이터 분할이 달라지면서 변수의 분포와 값의 특성이 변하는 현상입니다. ydata-profiling은 train과 test 데이터셋을 나란히 비교해 분포 차이를 찾는 데 활용됩니다.
스키마 검증(Schema Validation): — 입력 데이터가 요구된 필드, 자료형, 허용값, 형식 규칙을 충족하는지 검사하는 절차입니다. Great Expectations와 Cerberus는 각각 DataFrame 배치와 JSON·Python dict 구조에 맞춰 이 규칙을 적용합니다.
고유값 고밀도(High Cardinality): — 범주형 열에 서로 다른 값이 매우 많이 존재하는 상태입니다. 데이터 탐색 단계에서 높은 cardinality를 감지하면 오탈자, 식별자 열, 예상하지 못한 범주 증가처럼 품질 문제를 모델 입력 전에 확인할 수 있습니다.

기술

Python
pandas
Spark
SQL databases
Airflow
Prefect
pyjanitor
Great Expectations
ftfy
ydata-profiling
Cerberus

활용 사례

여러 raw CSV의 열 이름과 범주형 데이터를 표준화하는 정리 파이프라인
Airflow DAG 안에서 production dataset의 expectation suite를 실행하는 배치 검증
스크래핑 텍스트의 인코딩 오류를 ftfy로 복원하는 수집 파이프라인
train·test split의 분포 drift를 확인하는 데이터셋 품질 감사
API 응답 payload의 malformed record를 ingestion 단계에서 거부하는 JSON 검증