생산 환경 수준의 Ollama 통합: RabbitMQ와 .NET을 활용한 이벤트 기반 아키텍처

생산 환경을 고려한 아키텍처 설계에 대해 긍정적인 반응이며, 특히 .NET 생태계에서의 LLM 통합 방식에 관심을 보였다.

• LLM 호출 실패에 대비해 지수 백오프를 포함한 재시도 전략을 반드시 구현해야 한다.
• Microsoft.Extensions.AI와 같은 라이브러리를 사용하여 모델 교체가 용이한 구조를 설계해야 한다.

• 단순 HTTP 호출 대신 RabbitMQ를 통한 비동기 메시징으로 LLM 추론의 부하와 지연시간을 관리한다.
• Microsoft.Extensions.AI를 활용해 특정 LLM 엔진에 종속되지 않는 추상화 계층을 구축했다.
• 지수 백오프 기반의 재시도 전략과 명확한 에러 코드로 생산 환경에서의 예외 상황에 대비했다.