Bulkhead Pattern
벌크헤드 패턴
서비스 자원을 격리된 용량 구획으로 나누어 한 영역의 과부하가 전체 시스템으로 번지지 않게 하는 장애 격리 방식입니다. 이 라이브러리는 LLM 호출 앞단에서 동시 실행 수와 대기열, 토큰 점유량을 제한해 포화 연쇄를 차단합니다.
벌크헤드 패턴
서비스 자원을 격리된 용량 구획으로 나누어 한 영역의 과부하가 전체 시스템으로 번지지 않게 하는 장애 격리 방식입니다. 이 라이브러리는 LLM 호출 앞단에서 동시 실행 수와 대기열, 토큰 점유량을 제한해 포화 연쇄를 차단합니다.
