타워 미들웨어
네트워크 서비스의 요청과 응답 사이에 위치하여 기능을 추가하는 모듈식 구조이다. 속도 제한, 캐싱, 재시도 로직 등을 독립적인 계층으로 구현하여 필요에 따라 조합할 수 있게 한다. 복잡한 LLM 요청 파이프라인을 유연하고 견고하게 설계하는 데 기여한다.