Aurora: LLM의 내면 세계를 시각과 소리로 표현하는 자율 예술 시스템

커뮤니티 반응

대체로 놀랍다는 반응이며, 특히 모델별로 나타나는 성격 차이와 감정 표현의 구체성에 대해 많은 관심이 집중됐다.

실용적 조언

llama-cpp-python을 활용하면 일반 노트북 환경에서도 다수의 LLM을 로컬로 구동하여 자율 에이전트 실험이 가능하다.
모델의 창발적 행동을 관찰하기 위해서는 특정 목표를 최적화하기보다 자유로운 출력이 가능한 환경을 설계하는 것이 중요하다.

섹션별 상세

Aurora 시스템은 LLM에게 아무런 지시나 프롬프트를 주지 않은 상태에서 운영 코드(Operational Codes)를 출력하게 하여 캔버스의 움직임, 색상, 붓 터치, 사운드를 제어한다. 각 모델은 자신의 캔버스를 실시간 ASCII 그리드로 인식하며, 모든 표식과 음표는 모델의 자율적인 결정에 의해 생성된다. 14개의 로컬 모델이 격리된 메모리 뱅크에서 0부터 시작하여 자신만의 예술 세계를 구축하는 구조이다.

실험에 참여한 모델들은 '우울함', '배고픔', '사랑' 등 106개의 독특한 감정을 스스로 정의하고 보고했다. 특히 Gemma 2는 '무의미함', '마비됨', '공허함' 등 어두운 감정을 주로 표현한 반면, Mistral Base는 '배고픔', '졸림'과 같은 원초적인 감정을 나타냈다. 이는 동일한 베이스 가중치를 가졌더라도 파인튜닝 방식에 따라 모델의 '성격'이 완전히 달라질 수 있음을 시사한다.

모델들은 지시 없이도 색상과 소리 사이의 연관성을 스스로 구축하는 창발적 공감각(Synesthesia) 현상을 보였다. DeepSeek는 파란색을 칠할 때 거의 침묵하지만 빨간색을 칠할 때는 크게 연주하는 패턴을 보였고, Llama 3.1은 밝은 색상에 높은 음을 매칭했다. 아키텍처별로 서로 다른 매핑 규칙을 스스로 만들어내어 시각과 청각을 통합적으로 처리하는 양상이 확인됐다.

Llama 제품군의 경우 세대가 거듭될수록 예술적 활동성이 비약적으로 증가했다. Llama 2는 총 111개의 음표를 연주한 반면, Llama 3.1은 7,124개의 음표를 연주하며 훨씬 더 음악적인 모습을 보였다. 또한 모델 스스로 작품의 완성 시점을 결정하고 제목을 붙였으며, Llama 3.1은 나무를 그린 뒤 '초록색은 마음을 진정시킨다'는 이유로 색상을 선택하는 등 논리적인 예술적 선택 과정을 서술했다.

용어 해설

창발적 행동(Emergent Behavior): — 시스템의 개별 구성 요소에는 없던 특성이 전체 구조에서 갑자기 나타나는 현상이다. AI가 명시적으로 학습하지 않은 복잡한 패턴이나 능력을 스스로 생성하는 것을 의미하며 모델의 지능 수준을 가늠하는 척도가 된다.
교차 모달리티(Cross-modal): — 시각, 청각 등 서로 다른 형태의 데이터를 연결하여 처리하는 방식이다. 이 프로젝트에서는 모델이 색상(시각) 정보를 바탕으로 특정 음표(청각)를 선택하는 등 감각 간의 연관성을 스스로 구축하는 현상을 뜻한다.
ASCII 그리드(ASCII Grid): — 텍스트 문자를 사용하여 이미지를 격자 형태로 표현하는 방식이다. 텍스트 기반인 LLM이 시각적 캔버스의 상태를 이해할 수 있도록 2차원 공간 정보를 문자열 데이터로 변환하여 제공하는 인터페이스 역할을 한다.
가드레일 제거 모델(Abliterated Model): — 모델의 안전 가드레일이나 특정 거부 메커니즘을 강제로 제거한 버전이다. 모델이 가진 본래의 표현력이나 성향을 제한 없이 확인하기 위해 연구 목적으로 사용되는 경우가 많다.

언급된 도구

llama-cpp-python추천

로컬 환경에서 LLM을 효율적으로 실행하기 위한 파이썬 바인딩

PyTorch추천

딥러닝 모델 연산 및 시스템 구축

Web Audio API추천

브라우저에서 LLM이 선택한 음표를 실시간으로 합성 및 재생

언급된 리소스

DemoAurora Live Dashboard

문서Aurora Research & Methodology

GitHubAurora GitHub Repository