내 스마트폰에서 인터넷 없이 돌아가는 최신 생성형 AI 모델 체험하기
AI Tool·Kotlin0 / 0
구글의 LiteRT와 AI Edge 기술을 활용해 모바일 기기에서 오프라인으로 다양한 생성형 AI 모델을 실행하고 성능을 벤치마킹하는 실험적 앱입니다.
주요 기능
- 인터넷 연결 없이 기기 내부에서 생성형 AI 모델을 완전히 오프라인으로 실행
- Hugging Face와 통합되어 다양한 경량 모델을 선택하고 즉시 다운로드 및 테스트
- 이미지 분석(Ask Image), 오디오 전사(Audio Scribe), 텍스트 요약 등 다채로운 AI 기능 제공
- TTFT(첫 토큰 생성 시간) 및 디코딩 속도 등 실시간 온디바이스 벤치마크 지표 확인
- 사용자가 직접 학습시킨 LiteRT(.litertlm) 포맷의 커스텀 모델 로드 및 실행 지원
사용 사례
- 모바일 환경에서 특정 LLM 모델의 추론 속도와 성능을 실제 기기에서 벤치마킹하고 싶을 때
- 개인정보 보호가 중요한 환경에서 외부 서버 전송 없이 로컬 AI 기능을 구현하려는 경우
- 구글의 LiteRT 및 AI Edge SDK를 활용한 온디바이스 AI 앱 개발의 구현 레퍼런스가 필요할 때
19.5k
Stars
1.8k
Forks
+670
Trending
0
조회수
19.5k watchers226 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.