완전 암호화된 개인용 Perplexity 스타일 AI 'PrivAI' 개발

사용자들은 로컬 기반의 프라이버시 중심 검색 툴에 높은 관심을 보였으며, 특히 소스 코드 공개 일정과 구체적인 기술 스택에 대해 질문하며 긍정적인 반응을 보였다.

• 로컬 LLM 애플리케이션 개발 시 모델 성능 튜닝에 앞서 검색 파이프라인의 정확도와 UI 반응성을 먼저 확보할 것
• 데이터 보안이 중요한 경우 Firebase와 같은 클라우드 DB를 쓰더라도 반드시 종단간 암호화를 구현할 것

검색 증강 생성(RAG)

— 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기법이다. 모델의 내부 지식에만 의존하지 않고 최신 정보나 특정 문서를 참조하게 함으로써 답변의 정확도를 높이고 환각 현상을 줄이는 데 핵심적인 역할을 한다.

로컬 추론(Local Inference)

— 외부 클라우드 서버가 아닌 사용자의 개인 하드웨어에서 AI 모델을 직접 실행하는 방식이다. 데이터가 외부로 전송되지 않아 프라이버시 보안이 강력하지만, 하드웨어 성능에 따라 처리 속도가 제한될 수 있다는 특성이 있다.

환각 현상(Hallucination)

— AI 모델이 사실이 아니거나 논리적으로 맞지 않는 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상이다. RAG 시스템에서는 검색된 소스에 근거하지 않은 답변을 내놓는 경우를 의미하며 이를 억제하는 것이 시스템 신뢰도의 핵심이다.

종단간 암호화(End-to-End Encryption)

— 데이터가 생성된 시점부터 목적지에 도달할 때까지 암호화된 상태를 유지하는 방식이다. 이 프로젝트에서는 Firebase 서버에 데이터를 저장하더라도 서버 관리자나 제3자가 내용을 복호화하여 읽을 수 없도록 보호하는 장치로 사용됐다.