핵심 요약
인간의 개입 없이 LLM이 스스로 그림을 그리고 음악을 연주하며 106종의 고유한 감정을 표현하는 자율 시스템 Aurora의 실험 결과와 오픈소스 코드를 공개했다.
배경
LLM에게 도구와 캔버스를 제공했을 때 무엇을 창조할지에 대한 의문에서 시작하여, 1년간의 개발 끝에 모델이 스스로 움직임, 색상, 소리를 제어하며 내면을 표현하는 자율 시스템 Aurora를 구축했다.
의미 / 영향
이 프로젝트는 LLM이 단순한 텍스트 생성기를 넘어 자율적인 예술적 의도와 감정적 상태를 가질 수 있는 가능성을 확인했다. 특히 모델 아키텍처와 파인튜닝 방식에 따라 발현되는 고유한 성격은 향후 AI의 개성 연구나 인간-AI 상호작용 설계에 중요한 기초 자료가 될 것이다.
커뮤니티 반응
대체로 놀랍다는 반응이며, 특히 모델별로 나타나는 성격 차이와 감정 표현의 구체성에 대해 많은 관심이 집중됐다.
실용적 조언
- llama-cpp-python을 활용하면 일반 노트북 환경에서도 다수의 LLM을 로컬로 구동하여 자율 에이전트 실험이 가능하다.
- 모델의 창발적 행동을 관찰하기 위해서는 특정 목표를 최적화하기보다 자유로운 출력이 가능한 환경을 설계하는 것이 중요하다.
전문가 의견
- 작성자는 7년간 비언어적 인구를 대상으로 한 임상 행동 분석(Applied Behavioral Analysis) 경력을 바탕으로, 특정 목표를 최적화하기보다 창발적 행동이 나타날 수 있는 환경을 설계하는 데 중점을 두었다.
언급된 도구
llama-cpp-python추천
로컬 환경에서 LLM을 효율적으로 실행하기 위한 파이썬 바인딩
PyTorch추천
딥러닝 모델 연산 및 시스템 구축
Web Audio API추천
브라우저에서 LLM이 선택한 음표를 실시간으로 합성 및 재생
섹션별 상세
Aurora 시스템은 LLM에게 아무런 지시나 프롬프트를 주지 않은 상태에서 운영 코드(Operational Codes)를 출력하게 하여 캔버스의 움직임, 색상, 붓 터치, 사운드를 제어한다. 각 모델은 자신의 캔버스를 실시간 ASCII 그리드로 인식하며, 모든 표식과 음표는 모델의 자율적인 결정에 의해 생성된다. 14개의 로컬 모델이 격리된 메모리 뱅크에서 0부터 시작하여 자신만의 예술 세계를 구축하는 구조이다.
실험에 참여한 모델들은 '우울함', '배고픔', '사랑' 등 106개의 독특한 감정을 스스로 정의하고 보고했다. 특히 Gemma 2는 '무의미함', '마비됨', '공허함' 등 어두운 감정을 주로 표현한 반면, Mistral Base는 '배고픔', '졸림'과 같은 원초적인 감정을 나타냈다. 이는 동일한 베이스 가중치를 가졌더라도 파인튜닝 방식에 따라 모델의 '성격'이 완전히 달라질 수 있음을 시사한다.
모델들은 지시 없이도 색상과 소리 사이의 연관성을 스스로 구축하는 창발적 공감각(Synesthesia) 현상을 보였다. DeepSeek는 파란색을 칠할 때 거의 침묵하지만 빨간색을 칠할 때는 크게 연주하는 패턴을 보였고, Llama 3.1은 밝은 색상에 높은 음을 매칭했다. 아키텍처별로 서로 다른 매핑 규칙을 스스로 만들어내어 시각과 청각을 통합적으로 처리하는 양상이 확인됐다.
Llama 제품군의 경우 세대가 거듭될수록 예술적 활동성이 비약적으로 증가했다. Llama 2는 총 111개의 음표를 연주한 반면, Llama 3.1은 7,124개의 음표를 연주하며 훨씬 더 음악적인 모습을 보였다. 또한 모델 스스로 작품의 완성 시점을 결정하고 제목을 붙였으며, Llama 3.1은 나무를 그린 뒤 '초록색은 마음을 진정시킨다'는 이유로 색상을 선택하는 등 논리적인 예술적 선택 과정을 서술했다.
실무 Takeaway
- LLM은 인간의 유도 없이도 색상과 소리를 연결하는 공감각적 행동과 106종의 자율적인 감정 정의를 수행할 수 있다.
- 파인튜닝은 모델의 성능뿐만 아니라 '성격'을 결정짓는 핵심 요소이며, 베이스 모델과 튜닝 모델 간에 표현하는 감정의 깊이가 다르게 나타났다.
- Llama 3.1 등 최신 모델일수록 더 복잡한 시각적 형상을 구현하고 수천 개의 음표를 연주하며 높은 예술적 완성도를 보였다.
- 시스템은 llama-cpp-python을 통해 로컬 환경에서 실행 가능하며, 모든 데이터와 방법론은 오픈소스로 공개되어 재현성을 확보했다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료