언어 표현 설계를 통한 스키마 형성: LLM 지능 확장의 차세대 프런티어

자연어만으로는 현실 세계의 복잡한 문제 공간을 포착하기에 한계가 있다. 본 논문은 언어 표현 디자인을 통해 내부 스키마를 형성하고 지식을 활성화·구성하는 방식이 LLM의 성능과 일반화 능력을 크게 확장할 수 있음을 주장한다. Level 0(자연어)에서 Level 3(과학적 형식화·월드 모델링)까지의 스키마 설계 축을 제시하고, 이를 검증하는 실험 및 도메인 로드맵을 제시한다.

1. schema는 지식 활성화와 구성의 내부 프레임워크다. 언어 표현은 이 스키마를 유도하는 매개로 작동하며, L(질문)과 L(a) 간의 맵핑에서 스키마를 설계하는 것이 핵심이다. 2) 파라미터 규모 증가나 도구 확장만으로는 한계에 도달하므로, Level 0에서 Level 3까지의 점진적 언어 표현 설계를 통해 더 rich한 내부 구조를 만들 필요가 있다. 3) 실험은 서로 다른 표현 형식이 동일 문제에 대해 서로 다른 내부 활성화와 해결 경로를 유도함을 보여주고, 이를 통해 성능과 계산 비용 모두에 큰 차이가 생김을 확인한다.

문제 설정: Q(질문 공간)와 A(응답 공간), f(목표 매핑)가 주어지며, 모든 가능한 언어 L에 대해 q와 a를 L(q), L(a)로 표현한다. π는 LLM의 맵핑으로, L−1πL이 F를 근사하도록 구성한다. (1) Language Design: argminL d(f, L−1πL)로 표현 설계를 최적화한다. (2) Prompt Engineering: g ∈ G를 통해 입력 질문을 변형하여 d(f, L−1πLg)를 최소화한다. (3) 3.5 Assumption: S를 스키마 공간으로 두고, πa: S→A, πs: Q→S를 도입해 언어에 따른 스키마 차이를 KL 기반으로 정의한다. (4) Proposition 3.6: d(f, f̂L) 경계는 SM(L) = DKL(sfL ∥ sfLπ)으로 연결되며, 스키마 불일치가 예측 오차를 결정하는 근본 요인임을 보인다. (5) Level 0-3 설계는 Ambiguity Elimination(Level 1), Logical Constraints(Level 2), Scientific Formalization/World Modeling(Level 3)으로 구성된다. 실험은 logic circuit 문제를 통해 15개의 표현 형식의 차이를 통제된 환경에서 분석한다.

4.3 Experimental Results 요약: 15가지 언어 표현 중 Canonical Boolean Expression(CBE)이 가장 높은 정확도와 효율성을 보였다(예: Table 1, CBE 100% 정확도, 32–42 초 프롬트 시간 등). NL은 폭넓은 적응성을 보이나 토큰 소비가 크다. Graph Adjacency Notation은 성능은 좋으나 효율이 떨어진다. Petri Net 등 일부 표현은 성능이 저하된다. KAI/KOI 지표는 표현 형식에 따라 활성화 강도와 구조적 일관성이 달라짐을 보여주며, representations에 따른 내부 기하가 서로 구분되는 것을 확인한다. 4.3.3은 GPT-5-chat과 Qwen3-32B를 이용한 다중 모델에서 결과의 일관성을 확인한다. 4.4 Representations Induce Disjoint Internal Geometries: t-SNE 시각화에서 각 surface 형식은 서로 다른 내부 하위공간으로 분리되며, 이는 표현 형식이 논리적 문제 해결에 결정적 역할을 함을 시사한다.

1. 전체 아키텍처: Language Design를 통해 Q→S→A의 흐름을 정의하고, LLLM은 L(q)→L(a)로 작동한다. 2) 핵심 수식/기반: d(f, L−1πaπsL) ≤ ϵ, SM(L)=DKL(sfL ∥ sfLπ). Fisher-Rao 거리와 KL발생 관계를 통해 언어 표현과 예측 오차의 상관관계를 이론화한다. 3) 레벨 구분: Level 0-2는 Ambiguity Elimination 및 Logical Constraints를 통해 해석 안정성을 강화하고, Level 3은 Scientific Formalization과 World Modeling으로 고차원 도메인 지식의 형식을 도입한다. 4) 실험 설계: 100개의 문제 집합 Q에 대해 15개 표현(L1~L15)을 자동으로 생성하고, KAI/KOI를 통해 내부 스키마 활성화/구조화를 측정한다. 5) 성능/효율성 분석: 정확도, 프롬트 길이(token), 평균 응답 시간 등을 다각도로 비교하며, 표현 형식이 내부 스키마에 미치는 영향을 정량화한다.