개인용 AI 에이전트를 위한 최적의 데이터 소스: 채팅 로그보다 브라우저 데이터가 중요한 이유

실용적 조언

개인용 에이 전트를 개발 중이라면 브라우저의 로컬 SQLite 파일(History, Web Data)을 파싱하여 컨텍스트로 활용해라.
RAG 구현 시 최근 대화 내용에만 치우치지 않도록 데이터 소스의 다양성을 확보해라.

섹션별 상세

작성자는 ChatGPT와 Claude의 대화 내역을 임베딩하여 RAG 시스템을 구축했으나 검색 결과가 편향되고 재현율이 낮다는 문제를 발견했다. 대화 로그는 사용자의 실제 생활 패턴보다는 특정 시점의 불만이나 단편적인 질문에 치우쳐 있어 에이전트가 사용자를 대변하기에 부적절한 컨텍스트를 제공했다.

대안으로 Chrome 브라우저의 'Web Data' SQLite 파일에서 자동 완성 데이터와 저장된 카드 정보를 추출하고 방문 기록 및 북마크를 통합하는 추출기를 구현했다. 브라우저 내 양식 필드 데이터와 자주 방문하는 탭 정보가 사용자의 실제 생활 양식을 더 정확하게 반영하며, 이를 태그가 지정된 로컬 SQLite에 저장하여 에이전트의 지식 베이스로 활용했다.

브라우저 데이터를 활용한 결과 에이전트가 사용자를 대신해 이메일을 작성하거나 예약을 수행하는 데 필요한 유용한 컨텍스트의 약 80%를 확보할 수 있었다. 대다수의 '개인용 AI' 데모가 채팅 로그 인덱싱에서 시작하는 것과 달리, 실제 사용자의 의도와 정보는 브라우저 활동 내역에 더 많이 존재한다는 실무적 통찰을 제시했다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답 생성에 활용하는 기술이다. 모델의 학습 데이터에 없는 최신 정보나 개인 데이터를 참조할 수 있게 하여 답변의 정확도와 신뢰성을 높이는 역할을 한다.
SQLite: — 서버가 필요 없는 가벼운 파일 기반 관계형 데이터베이스 엔진이다. 브라우저 방문 기록, 자동 완성 데이터 등 로컬 애플리케이션의 데이터를 저장하고 관리하는 데 널리 사용된다.
임베딩(Embedding): — 텍스트와 같은 비정형 데이터를 고차원 벡터 공간의 수치로 변환하는 과정이다. 의미적으로 유사한 데이터들이 벡터 공간에서 가깝게 위치하도록 하여 AI 모델이 문맥적 유사성을 계산할 수 있게 한다.

언급된 도구

Llama추천

로컬 AI 에이전트 구동을 위한 언어 모델

SQLite추천

브라우저 데이터 및 추출된 컨텍스트 저장용 데이터베이스