LLM 문맥 소실 방지를 위한 'Double-Call Architecture'와 입력 분할 기법

작성자의 아키텍처 접근 방식에 대해 긍정적인 반응이 있으며, 특히 복잡한 입력을 구조화하는 방식에 관심이 집중됐다.

• 긴 프롬프트를 한 번에 처리하기보다 소형 모델을 이용해 의도별로 분할하여 개별 호출하는 방식을 고려하라.
• 각 응답 블록에 UUID를 부여하여 세션 메모리와 연동하면 문맥 추적이 용이해진다.

• 복잡한 프롬프트를 작은 단위로 분할(Slicing)하면 LLM의 문맥 유지 능력과 응답 정확도가 크게 향상된다.
• Double-Call Architecture는 저비용 소형 모델로 전처리를 수행하여 대형 모델의 추론 효율성을 높이는 전략이다.
• 응답을 UUID 기반의 구조화된 데이터로 관리하면 대규모 대화 시스템에서 특정 맥락을 추적하고 재참조하기 용이하다.