개인 메모와 비정형 데이터를 위한 AI 저널링 도구 'Vaulti' 개발기

작성자가 직접 개발한 도구의 아키텍처와 신뢰성 확보 방안에 대해 긍정적인 반응이 예상되며, 특히 개인적인 메모를 '기억'처럼 쿼리한다는 개념이 주목받았다.

• RAG 시스템 구축 시 검색 전 단계에서 질문을 분석하는 에이전트 로직을 추가하여 검색 범위를 좁히는 것이 유리하다.
• AI 응답을 JSON 등 구조화된 데이터로 받아 앱 로직과의 결합도를 높이고 예외 처리를 강화해야 한다.
• 프롬프트 토큰 예산을 설정하여 긴 문맥 처리 시 발생할 수 있는 비용 문제와 성능 저하를 방지해야 한다.

검색 계획(Retrieval Plan)

— 사용자의 질문을 분석하여 어떤 시간대나 주제의 데이터를 찾아야 할지 미리 정의하는 단계이다. AI가 방대한 데이터 중 필요한 부분만 선별하도록 가이드하여 검색의 정확도를 높이고 불필요한 연산을 줄이는 역할을 한다.

구조화된 출력(Structured Output)

— AI가 자유로운 문장 형태가 아닌 JSON이나 특정 스키마에 맞춰 답변을 생성하도록 강제하는 방식이다. 이를 통해 앱의 프로그램 로직이 AI의 응답을 오류 없이 처리할 수 있게 하며 시스템의 예측 가능성을 높인다.

컨텍스트 예산 관리(Context Budgeting)

— LLM이 한 번에 처리할 수 있는 토큰 제한 내에서 가장 관련성 높은 정보만 효율적으로 배치하는 기술이다. 비용을 절감하고 모델이 핵심 정보에 집중하게 하여 답변의 품질을 최적화하는 데 중요하다.

회귀 테스트(Regression Test)

— 새로운 코드 수정이나 기능 추가가 기존에 잘 작동하던 기능에 영향을 주지 않았는지 확인하는 테스트이다. AI 파이프라인의 변경 사항이 답변의 정확도를 떨어뜨리지 않는지 지속적으로 검증하는 데 사용된다.