Memelang: LLM RAG를 위한 AI 최적화 쿼리 언어

섹션별 상세

기존 SQL 문법은 LLM이 이해하고 생성하기에 토큰 소모가 크고 문법적 오류가 발생하기 쉬운 구조적 한계가 있었습니다. Memelang은 'Grid(Axis2) -> Axis1 -> Axis0 -> Cell'로 이어지는 계층적 그리드 문법을 도입하여 데이터 관계를 시각적이고 간결하게 표현합니다. 공백과 세미콜론(;)을 구문 구분자로 활용하여 자연어에 가까우면서도 엄격한 구조를 유지합니다. 이를 통해 LLM이 훨씬 적은 토큰으로도 복잡한 데이터 추출 로직을 정확하게 기술할 수 있습니다.

근거

Memelang은 LLM RAG를 위해 토큰 수와 모델 크기를 크게 줄이는 AI 최적화 쿼리 언어이다. — 본문 서두: 'Memelang is an AI-optimized query language that significantly reduces token count...'
그리드 문법은 Grid(Axis2) -> Axis1 -> Axis0 -> Cell 구조를 따른다. — 본문 주석 섹션: 'Grid(Axis2) -> Axis1 -> Axis0 -> Cell'

Memelang 파이서는 텍스트 기반의 쿼리를 토큰화하고 의미론적 분석을 거쳐 실행 가능한 객체로 변환하는 핵심 엔진입니다. Python으로 구현된 이 파이서는 정규표현식을 사용하여 데이터 타입(정수, 실수, 문자열, 임베딩)과 연산자를 식별하고 Cell 단위로 구조화합니다. 잘못된 토큰이나 문법이 발견되면 즉시 에러를 발생시켜 LLM의 환각(Hallucination)으로 인한 잘못된 쿼리 실행을 방지합니다. 결과적으로 모델은 자유로운 자연어 대신 검증 가능한 DSL을 생성함으로써 신뢰성을 확보합니다.

작성된 Memelang 쿼리는 SQL 클래스를 통해 실제 데이터베이스에서 실행 가능한 PostgreSQL 구문으로 컴파일됩니다. 이 과정에서 테이블 별칭(Alias) 자동 생성, 집계 함수(MIN, MAX, AVG 등) 처리, JOIN 관계 해석 등이 자동으로 수행됩니다. 예를 들어 'movies description "robot"=3'과 같은 짧은 문장이 복잡한 SELECT-FROM-WHERE 절로 변환됩니다. 개발자는 복잡한 SQL 매핑 로직을 직접 작성할 필요 없이 LLM이 Memelang만 출력하도록 유도하면 됩니다.

벡터 검색과 시맨틱 유사도 비교를 위한 전용 연산자를 문법 수준에서 직접 지원하여 RAG 시스템 구축을 용이하게 합니다. 'sim>'와 같은 연산자를 통해 임베딩 벡터 간의 유사도 검색을 수행하며, 이는 내부적으로 벡터 데이터 타입과 거리 계산 함수로 변환됩니다. 텍스트 검색(ILIKE)과 벡터 검색을 혼합한 하이브리드 쿼리도 단 몇 줄의 코드로 표현이 가능합니다. 이는 고성능 검색 엔진이 필요한 AI 애플리케이션에서 구현 복잡도를 획기적으로 낮춰줍니다.

기술

Python
PostgreSQL
Memelang
LLM

활용 사례

LLM 기반 데이터베이스 인터페이스
RAG 시스템의 검색 쿼리 최적화
토큰 제한이 있는 환경에서의 복잡한 데이터 추출

언급된 리소스

GitHubMemelang GitHub Repo

논문Memelang arXiv Paper