Street AI: LLM 애플리케이션을 위한 지속적 학습 메모리 레이어

섹션별 상세

기존 LLM 애플리케이션은 대화가 길어질수록 프롬프트 토큰 비용이 선형적으로 증가하는 문제가 있다. Street AI는 대화를 의미 단위의 신호로 분할하고 관련성 높은 정보만 검색하여 프롬프트 크기를 일정하게 유지한다.

대화는 임베딩을 통해 384차원 벡터로 변환되고 유사도에 따라 스택에 할당된다. 새로운 쿼리가 들어오면 관련 스택에서 활성화 임계값을 넘는 신호만 추출하여 프롬프트를 구성한다.

LLM 응답 후에는 유용한 신호는 강화하고 불필요한 신호는 감쇠시키는 피드백 루프가 작동한다. 16턴 벤치마크에서 입력 토큰을 55~80% 절감하는 성능을 보였다.

Anthropic, OpenAI, DeepSeek, Gemini 등 주요 LLM API와 호환되는 어댑터를 제공한다. SQLite를 사용하여 메모리를 영구적으로 저장하며, 기존 SDK API를 그대로 사용하면서 메모리 기능을 투명하게 적용할 수 있다.