데스크톱에서 자율적으로 활동하는 로컬 AI 캐릭터 KillClawd 공개

커뮤니티 반응

사용자들은 프로젝트의 독창적인 컨셉과 로컬 구동 방식에 대해 긍정적인 반응을 보였으며 특히 완성형 프롬프팅 기법의 효율성에 관심을 나타냈다.

주요 논점

01찬성다수

소형 모델에서 캐릭터 유지를 위해 완성형 프롬프팅을 사용한 접근 방식이 매우 영리하다.

합의점 vs 논쟁점

합의점

로컬 LLM을 활용한 데스크톱 상호작용은 프라이버시와 재미를 동시에 잡을 수 있는 방향이다.

논쟁점

캐릭터가 사용자의 파일을 읽고 분석하는 과정에서 발생할 수 있는 리소스 점유율에 대한 우려가 있다.

실용적 조언

소형 모델로 롤플레잉 AI를 개발할 때 모델이 지시를 무시한다면 문장 완성 방식으로 프롬프트를 재구성해라.

섹션별 상세

Ollama를 활용하여 모든 연산을 로컬 환경에서 처리하도록 설계했다. 사용자의 머신에서 직접 모델을 구동함으로써 데이터 외부 유출을 방지하고 실시간으로 데스크톱 오버레이 형태의 캐릭터를 렌더링한다. 이를 통해 캐릭터가 사용자의 파일이나 커서 움직임을 감지하고 즉각적인 반응을 생성하는 구조를 갖췄다.

소형 모델의 한계를 극복하기 위해 지시 이행(Instruction following) 대신 완성형 프롬프팅(Completion-format prompting) 방식을 채택했다. 특정 상황의 시작 문구를 모델에게 제시하여 자연스러운 문장 완성을 유도함으로써 소형 모델에서도 캐릭터의 성격이 붕괴되지 않고 일관되게 유지되도록 구현했다. 실제 테스트에서 캐릭터가 자신의 존재에 대해 실존적인 고민을 하거나 사용자의 행동을 기억하겠다고 위협하는 등 고유한 페르소나를 보여주었다.

캐릭터는 단순 텍스트 생성을 넘어 데스크톱 환경 내에서 물리적인 상호작용과 시스템 로그 기록을 수행한다. 사용자가 커서로 캐릭터를 쫓아오면 이를 인지하고 반응 단계를 높이며 바탕화면에 직접 자신의 생각과 행동을 기록하는 저널 파일을 생성한다. 또한 내부적으로 XP 시스템과 레벨업 메커니즘을 포함하여 게임적인 요소와 AI의 자율성을 결합했다.

용어 해설

올라마(Ollama): — 로컬 환경에서 대규모 언어 모델(LLM)을 간편하게 실행할 수 있게 돕는 오픈소스 프레임워크이다. 사용자의 하드웨어 자원을 직접 활용하여 클라우드 API 호출 없이도 모델 추론이 가능하게 하며 데이터 프라이버시와 오프라인 실행을 보장한다.
완성형 프롬프팅(Completion-format Prompting): — 모델에게 특정 지시를 내리는 대신 문장의 시작 부분을 제공하여 모델이 자연스럽게 이어 쓰도록 유도하는 기법이다. 지시 이행 능력이 부족한 소형 모델에서 특정 캐릭터의 말투나 성격을 일관되게 유지하는 데 효과적이다.
로컬 거대 언어 모델(Local LLM): — 외부 서버가 아닌 사용자의 개인 컴퓨터나 로컬 서버에서 직접 구동되는 언어 모델이다. 지연 시간이 적고 인터넷 연결 없이 작동하며 민감한 데이터를 외부로 전송하지 않아도 된다는 장점이 있다.

언급된 도구

Ollama추천

로컬 LLM 추론 및 실행 엔진

KillClawd추천

자율형 데스크톱 AI 캐릭터 프로그램

언급된 리소스

GitHubKillClawd GitHub Repository