파이썬 예외 처리를 개선하는 5가지 유용한 DIY 함수

섹션별 상세

네트워크 장애나 API 호출 실패는 일시적인 경우가 많아 즉각적인 중단보다는 재시도가 효율적이다. `retry_with_backoff` 데코레이터는 실패 시 대기 시간을 지수적으로 늘려가며 재시도하여 서버 부하를 방지하고 성공률을 높인다. 실제 테스트에서 최대 시도 횟수와 특정 예외 타입을 지정함으로써 불안정한 외부 연동 작업의 안정성이 확보됐다. 이는 간헐적 네트워크 오류로 인한 전체 파이프라인 중단을 막는 핵심 기법이다.

python

def retry_with_backoff(
    max_attempts: int = 3,
    base_delay: float = 1.0,
    exponential_base: float = 2.0,
    exceptions: Tuple[Type[Exception], ...] = (Exception,)
):
    def decorator(func: Callable):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            last_exception = None
            for attempt in range(max_attempts):
                try:
                    return func(*args, **kwargs)
                except exceptions as e:
                    last_exception = e
                    if attempt < max_attempts - 1:
                        delay = base_delay * (exponential_base ** attempt)
                        time.sleep(delay)
            raise last_exception
        return wrapper
    return decorator

지수 백오프 알고리즘을 적용하여 실패한 작업을 자동으로 재시도하는 데코레이터 구현 예시

사용자 입력이나 외부 데이터의 무결성을 보장하지 못하면 후속 로직에서 치명적인 에러가 발생한다. `validate_input` 함수는 여러 검증 규칙을 딕셔너리 형태로 전달받아 한꺼번에 검사하고 상세한 에러 목록을 반환하는 구조를 가진다. 각 규칙을 독립적인 함수로 정의하여 재사용성을 높였으며, 데이터 전처리 단계에서 유효하지 않은 값을 사전에 차단한다. 복잡한 조건문 없이도 데이터 품질 가드레일을 구축할 수 있다.

깊게 중첩된 JSON 데이터나 설정 파일에 접근할 때 키 누락으로 인한 `KeyError`는 빈번한 병목 지점이다. `safe_get`과 `safe_set` 함수는 점(.) 구분자 경로를 통해 데이터에 접근하며, 경로가 없으면 기본값을 반환하거나 중간 구조를 자동으로 생성한다. 리스트 인덱스 접근까지 자동으로 처리하여 방어적 프로그래밍에 필요한 수많은 조건문을 제거한다. 이를 통해 복잡한 API 응답 처리 코드가 간결해지고 유지보수가 용이해진다.

python

def safe_get(data: dict, path: Union[str, List[str]], default: Any = None, separator: str = ".") -> Any:
    if isinstance(path, str):
        keys = path.split(separator)
    else:
        keys = path
    current = data
    for key in keys:
        try:
            if isinstance(current, list):
                try: key = int(key)
                except (ValueError, TypeError): return default
            current = current[key]
        except (KeyError, IndexError, TypeError): return default
    return current

중첩된 딕셔너리나 리스트 구조에서 안전하게 값을 추출하는 함수

특정 작업이 무한정 대기 상태에 빠지면 전체 시스템의 응답성이 저하되고 자원이 고갈된다. `timeout` 데코레이터는 별도 스레드에서 함수를 실행하고 지정된 시간이 초과되면 `TimeoutError`를 강제로 발생시켜 제어권을 회수한다. `thread.join(timeout)` 방식을 활용하여 메인 프로세스가 멈추는 현상을 방지함이 확인됐다. 외부 리소스 의존도가 높은 웹 스크래핑이나 데이터베이스 쿼리 작업의 안전장치로 기능한다.

파일이나 네트워크 소켓 같은 리소스는 사용 후 반드시 해제되어야 하지만 예외 상황에서 누락될 위험이 크다. `managed_resource` 컨텍스트 매니저는 리소스의 획득과 해제 로직을 인자로 받아 `with` 문 내에서 안전한 생명주기 관리를 보장한다. 에러 발생 시 별도의 핸들러를 실행할 수 있는 기능을 포함하여 리소스 누수 방지와 에러 복구를 동시에 달성한다. 복잡한 트랜잭션 관리가 필요한 데이터베이스 연결 로직에서 코드의 신뢰성을 높인다.

용어 해설

지수 백오프(Exponential Backoff): — 네트워크 통신 실패 시 재시도 간격을 지수적으로 늘려가는 알고리즘이다. 실패한 서비스에 즉각적인 부하를 주는 대신 대기 시간을 1, 2, 4, 8초 식으로 늘려 시스템의 안정적인 복구를 돕고 네트워크 혼잡을 방지하는 역할을 한다.
데코레이터(Decorator): — 기존 함수의 코드를 수정하지 않고도 기능을 추가하거나 수정할 수 있게 해주는 파이썬의 고수준 문법이다. 함수를 인자로 받아 새로운 기능을 입힌 함수를 반환하며, 코드의 재사용성과 가독성을 높이는 데 핵심적인 역할을 수행한다.
컨텍스트 매니저(Context Manager): — 리소스의 할당과 해제를 `with` 문을 통해 자동으로 관리하는 객체이다. 파일 열기나 데이터베이스 연결과 같이 반드시 닫아야 하는 리소스를 다룰 때 예외 발생 여부와 상관없이 안전한 종료를 보장하여 리소스 누수를 막는다.
데몬 스레드(Daemon Thread): — 주 프로그램(메인 스레드)이 종료될 때 함께 강제로 종료되는 백그라운드 스레드이다. 타임아웃 처리와 같이 메인 로직의 흐름을 방해하지 않으면서 별도의 작업을 수행해야 할 때 사용되며, 프로그램의 응답성을 유지하는 데 기여한다.

기술

Python
threading
functools
contextlib

활용 사례

API 호출 재시도 로직
데이터 전처리 입력 검증
JSON 데이터 안전 추출
웹 스크래핑 타임아웃 관리
데이터베이스 리소스 정리

언급된 리소스

GitHubGitHub Repository for Error Handling Functions