내 화면을 보고 말하며 가르쳐주는 AI 튜터, Clicky
Agent·Swift0 / 0
사용자의 화면을 실시간으로 인식하고 음성으로 소통하며 화면상의 요소를 직접 가리키는 macOS용 AI 개인 교사 도구이다.
주요 기능
- Push-to-Talk 기반 실시간 음성 인식 및 대화
- ScreenCaptureKit을 활용한 실시간 화면 컨텍스트 분석
- Claude 응답 태그 기반의 화면 좌표 자동 포인팅
- Cloudflare Worker 프록시를 통한 API 키 보안 관리
- 멀티 모니터 환경에서의 UI 요소 식별 및 안내
어떻게 동작하는가
Swift로 구현된 메뉴바 앱이 화면과 음성을 캡처하고, Cloudflare Worker 프록시를 거쳐 Claude와 통신하며 응답 내 좌표 태그를 해석해 투명 오버레이 윈도우에 시각적 포인터를 렌더링한다.
3.5k
Stars
623
Forks
+692
Trending
0
조회수
3.5k watchers38 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.