BlenderRAG: 검색 증강 코드 생성을 통한 고정밀 3D 객체 생성

LLM이 생성하는 3D 모델링 코드는 문법 오류나 비현실적인 비율 문제가 잦았습니다. BlenderRAG는 별도의 추가 학습 없이 검색 증강 생성 기법만으로 3D 객체의 기하학적 일관성과 시각적 품질을 대폭 개선하여 일반 소비자용 하드웨어에서도 고품질 3D 에셋 생성을 가능하게 합니다.

기존의 LLM은 3D 모델링을 위한 Python API(bpy)의 복잡한 문법과 객체 간의 공간적 비례 관계를 정확히 파악하지 못해 부유하는 부품이나 깨진 구조를 생성하는 한계가 있었다. 이는 모델이 학습 데이터에서 본 일반적인 코드 패턴과 실제 3D 기하학적 제약 조건 사이의 간극에서 발생한다.

BlenderRAG는 이를 해결하기 위해 Embedding 공간에서의 유사도 검색을 도입한다. 사용자의 요청이 들어오면 Nomic-AI 임베딩 모델을 통해 벡터화하고, 미리 구축된 전문가 검증 데이터셋에서 가장 유사한 구조를 가진 코드 예시를 찾아낸다. 이 예시 코드는 LLM에게 단순한 문법 가이드를 넘어, 특정 객체를 구성하기 위한 기하학적 템플릿 역할을 수행한다.

결과적으로 LLM은 처음부터 코드를 짜는 대신 검증된 구조를 참고하여 수정하는 방식을 취하게 된다. 이를 통해 Attention 메커니즘이 관련성 높은 코드 패턴에 집중하게 되어, 복잡한 물리적 구조를 가진 객체도 일관된 비례와 연결성을 유지하며 생성할 수 있게 된다.

BlenderRAG는 데이터셋 구축, 검색 엔진, LLM 생성의 세 단계로 구성된다. 먼저 50개 카테고리의 실내외 객체에 대해 전문가가 검증한 500개의 (텍스트, 코드, 이미지) 트리플렛 데이터셋을 준비한다. 각 코드는 Blender 환경에서 즉시 실행 가능하며, 표준화된 카메라 뷰에서 렌더링된 이미지를 포함한다.

검색 단계에서는 Qdrant 벡터 데이터베이스를 활용한다. 사용자의 자연어 쿼리를 Nomic-AI 임베딩 모델로 변환하여 [쿼리 벡터 · 데이터셋 벡터]의 코사인 유사도를 계산한다. 가장 점수가 높은 k개의 예시를 추출하여 LLM의 프롬프트 컨텍스트로 주입한다.

생성 단계에서는 Claude Sonnet 4.5, GPT-5, Gemini 3 Flash 등 다양한 LLM 백엔드를 지원한다. 주입된 예시 코드를 바탕으로 LLM은 새로운 Python 코드를 생성하며, 이는 Blender 애드온 인터페이스를 통해 즉시 실행되어 3D 장면으로 시각화된다.

실험 결과, BlenderRAG를 적용했을 때 모든 모델에서 성능 향상이 관찰됐다. 특히 Mistral Large의 경우 컴파일 성공률이 10.1%에서 56.7%로 급증했으며, Gemini 3 Flash는 최대 80.0%의 성공률을 기록했다. 이는 검색된 예시가 모델의 문법적 오류를 효과적으로 교정함을 보여준다.

시맨틱 정렬(Semantic Alignment) 측면에서도 평균 CLIP 유사도가 0.409에서 0.774로 상승했다. 정성적 분석 결과, 기존 모델들이 벤치(Bench)를 생성할 때 다리가 없거나 등받이가 분리된 형태를 보인 것과 달리, BlenderRAG는 구조적으로 안정적이고 세부 묘사가 뛰어난 결과물을 생성했다.

BlenderRAG 아키텍처는 Zero-training 철학을 바탕으로 설계되어 GPU 자원 없이 CPU 환경에서도 운영 가능하다. 데이터셋은 Claude Opus 4.1로 초안을 생성한 후 전문가의 수동 수정을 거쳐 품질을 확보했다. 코드 복잡도는 객체에 따라 3,000자에서 24,000자까지 다양하게 분포하며, 이는 단순한 기본 도형 결합을 넘어선 복잡한 모델링을 포함한다.

검색 메커니즘은 k=3 설정을 기본으로 하며, 검색된 텍스트 설명과 코드가 LLM의 Few-shot 컨텍스트로 작용한다. 이는 Fine-tuning 방식인 BlenderLLM과 달리 하드웨어 제약이 적고 새로운 객체 카테고리를 데이터셋에 추가하는 것만으로도 성능 확장이 용이하다는 기술적 차별점을 갖는다.

현재 시스템은 단일 객체 생성에 집중되어 있어 여러 객체가 배치된 복잡한 장면 구성이나 객체 간의 공간적 추론 능력은 제한적이다. 또한 현재는 텍스트 쿼리 기반 검색만 지원하며 이미지 기반 검색 기능은 향후 과제로 남아있다.