브라우저에서 LLM을 실행하는 Web-LLM 프로젝트와 크롬 확장 프로그램 공유

커뮤니티 반응

사용자들은 브라우저 내 로컬 실행의 잠재력에 관심을 보였으며, 특히 개인정보 보호가 중요한 웹 서핑 환경에서의 활용 가능성을 긍정적으로 평가했다.

01찬성다수

브라우저 내 LLM 실행은 설치가 간편하고 개인정보 유출 우려가 없어 대중화에 유리하다.

Web-LLM의 성능 측정 결과, Mac 64GB 환경에서 Hermes-3B 모델 기준 브라우저 실행 시 30 tok/s, 네이티브 실행 시 80 tok/s를 기록했다. 네이티브 환경보다는 느리지만 웹 브라우저 내에서 실사용이 가능한 수준의 성능을 보여준다.

브라우저 기반 LLM의 핵심 장점은 별도의 설치 과정이 필요 없는 원클릭 사용성과 완전한 개인정보 보호이다. 쇼핑이나 이메일 작성 시 웹 페이지 문맥을 즉시 참조하면서도 데이터가 외부 서버로 유출되지 않는 비서를 구축할 수 있다.

작성자는 현재 페이지의 문맥을 프롬프트에 포함하여 대화할 수 있는 크롬 확장 프로그램을 개발하여 배포했다. Llama 70B와 같은 대형 모델을 고사양 하드웨어 브라우저 환경에서 테스트해 줄 사용자의 피드백을 요청했다.

웹 LLM(Web-LLM): — 웹 브라우저 내에서 하드웨어 가속을 통해 대규모 언어 모델을 직접 실행할 수 있게 해주는 고성능 추론 엔진이다. 별도의 서버 통신 없이 사용자의 로컬 자원을 활용하여 개인정보를 보호하고 오프라인에서도 작동하는 AI 애플리케이션 구축을 가능하게 한다.
웹GPU(WebGPU): — 웹 브라우저에서 기기의 GPU 하드웨어에 접근하여 고성능 계산을 수행할 수 있도록 지원하는 최신 웹 표준 API이다. Web-LLM과 같은 프로젝트에서 브라우저 내 딥러닝 모델 추론 속도를 비약적으로 향상시키는 핵심 기술로 활용된다.
추론 속도(Inference Speed): — AI 모델이 입력된 데이터를 처리하여 결과물(텍스트 등)을 생성해내는 속도를 의미하며, LLM에서는 주로 초당 생성되는 토큰 수(tok/s)로 측정한다. 하드웨어 사양과 추론 엔진의 최적화 수준에 따라 성능 차이가 발생한다.

Web-LLM추천

브라우저 내 LLM 추론 엔진

Local LLM Chrome Extension추천링크

페이지 컨텍스트 기반 브라우저 채팅 도구