MIT 학생 마리아노 살세도, 신경 세포 자동자를 활용한 음악 시각화 AI 개발

섹션별 상세

음악의 동적인 특성을 시각적으로 표현하기 위해 신경 세포 자동자(NCA) 기술을 핵심적으로 활용했다. NCA는 고전적인 세포 자동자에 머신러닝을 결합한 형태로, 외부 자극인 음악 신호에 반응하여 이미지가 스스로 성장하고 복구되는 특성을 가진다. 이를 통해 사용자는 예측 불가능하면서도 유기적인 시각적 피드백을 실시간으로 경험할 수 있다. 기술적으로는 오디오 스트림의 에너지를 시스템의 내부 파라미터와 연결하여 시각적 변화를 유도한다.

살세도는 기계공학에서 AI 및 의사결정 전공으로 전환하며 대형 언어 모델(LLM)의 가능성과 한계를 동시에 탐구했다. LLM의 대화 능력에 영감을 얻었으나, 동시에 AI의 책임감 있는 사용, 편향성 문제, 개발자 다양성 부족과 같은 윤리적 과제에 주목하게 되었다. 그는 신호 처리(Signal Processing) 지식을 바탕으로 AI가 인간의 창의성을 어떻게 확장할 수 있는지 연구하며 기술의 민주화를 목표로 한다. 이러한 배경은 그가 음악 기술이라는 융합 분야를 선택하는 결정적인 계기가 되었다.

연구의 외연을 넓혀 음악 시각화를 넘어선 자기 조직화 시스템(Self-organized Systems)의 모델링 가능성을 타진하고 있다. 다세포 생물이나 조류의 떼, 사회적 상호작용처럼 국소적인 규칙이 전체의 복잡한 행동을 만들어내는 시스템을 AI로 정교하게 모방하고자 한다. 이는 AI의 기초 기술을 탐구함으로써 대중이 기술의 작동 원리를 더 깊이 이해하도록 돕는 교육적 가치도 지닌다. 현재 LLM 중심의 연구 트렌드 속에서도 기초 기술에 대한 심도 있는 분석이 중요함을 시사한다.

기술

Neural Cellular Automata
Signal Processing
LLM
Digital Audio Workstation

활용 사례

실시간 음악 시각화 퍼포먼스
자기 조직화 시스템 모델링
인터랙티브 미디어 아트

언급된 리소스

문서Music Technology and Computation Graduate Program