텍스트 데이터 통합: 구조화된 데이터와 비정형 텍스트의 결합을 위한 포괄적 가이드

기업 데이터의 80% 이상이 비정형 텍스트 형태임에도 불구하고 기존 데이터베이스와의 통합은 여전히 난제로 남아있다. 이 논문은 지식 그래프와 LLM을 활용해 텍스트에서 의미를 추출하고 데이터 누락을 자동으로 채우는 최신 방법론을 제시하여 데이터 엔지니어링의 새로운 방향을 제안한다.

기존의 데이터 통합은 미리 정의된 스키마를 가진 테이블 간의 결합에만 의존하여 텍스트에 담긴 풍부한 지식을 활용하지 못했다. 이 논문의 핵심 아이디어는 텍스트를 단순한 문자열이 아닌 '개념(Concept)'과 '관계(Relation)'의 집합으로 바라보는 것이다.

Transformer 기반의 Attention Mechanism을 활용하면 문장 내 단어 간의 관계를 수치화하여 문맥적 의미를 파악할 수 있다. 이를 통해 서로 다른 데이터셋 사이에 직접적인 연결 고리(Join-key)가 없더라도, 텍스트 내의 공통된 개념을 매개체로 삼아 숨겨진 연결 경로(Join-path)를 찾아낼 수 있다.

결과적으로 비정형 텍스트는 구조화된 데이터의 빈틈(NULL 값)을 채우는 보충 자료이자, 독립된 데이터셋들을 하나로 묶어주는 지식의 가교 역할을 수행하게 된다.

텍스트를 구조화하기 위해 Ontology Learning(OL) 계층 구조를 적용한다. 먼저 텍스트에서 핵심 용어(Term)를 추출하고, Word Embedding을 통해 의미적으로 유사한 용어들을 동의어(Synonyms)로 그룹화한다. 이후 이들을 상위 개념(Concepts)으로 추상화하고 개념 간의 계층적/비계층적 관계(Relations)를 식별하여 지식 그래프를 구축한다.

정보 추출(Information Extraction) 단계에서는 LLM의 인컨텍스트 러닝(In-context Learning)을 활용한다. 특정 도메인의 텍스트와 추출 규칙을 프롬프트로 입력하면, 모델은 별도의 파인튜닝 없이도 텍스트 내 엔티티와 속성을 식별한다. [텍스트 데이터 입력 → LLM 추론 → 구조화된 JSON/Triple 출력 → 기존 DB 스키마 매핑] 순으로 처리가 진행된다.

데이터 희소성 해결을 위해 Entity-Centric Slot-Filling 기법을 사용한다. 구조화된 테이블에서 값이 비어 있는 속성(Slot)을 정의하고, 관련 텍스트 소스에서 해당 엔티티에 대한 정보를 찾아 빈칸을 채운다. 예를 들어 질병 테이블에 '해부학적 부위'가 누락된 경우, 의학 텍스트에서 해당 질병과 연결된 신체 기관 정보를 추출하여 데이터셋을 완성한다.

텍스트 통합을 통해 데이터 희소성 문제를 효과적으로 해결할 수 있음을 입증했다. 의료 데이터셋 사례에서 질병(Tuberculosis)과 합병증(Seizures) 정보만 있던 테이블에 임상 텍스트를 결합하여 '폐(Lungs)'라는 해부학적 위치 정보를 자동으로 보충하는 데 성공했다.

데이터 발견 측면에서는 직접적인 연결이 없던 '환자 테이블'과 '약물 테이블' 사이를 비정형 의료 노트를 통해 연결했다. 의료 노트에서 환자의 증상과 처방된 약물 간의 관계를 추출함으로써, 기존 DB 쿼리로는 불가능했던 통합 뷰(Unified View) 생성이 가능해졌다.

LLM 활용 분석 결과, GPT-4와 같은 대형 모델은 복잡한 개념 카테고리에서도 높은 재현율(Recall)을 보였으나, 도메인 특화 용어나 미세한 인스턴스 식별에서는 여전히 정교한 프롬프트 엔지니어링이나 RAG 기반의 근거 보강이 필수적임이 확인됐다.

본 연구는 텍스트와 구조화된 데이터의 통합을 위해 THOR(Textual Heterogeneity Overcoming Resource) 프레임워크의 개념적 기반을 다룬다. 핵심은 텍스트 인스턴스를 단순 저장하는 것이 아니라, 동적 스키마(Dynamic Schemata)를 가진 지식 그래프로 모델링하여 추론 가능성을 확보하는 것이다.

수학적 기반으로 Word2Vec, FastText, GloVe와 같은 분포 의미론(Distributional Semantics) 모델을 사용하여 단어 간의 유사도를 계산한다. 최근에는 Transformer의 Self-Attention을 통해 문맥에 따른 단어의 다의성을 해결하며, 이를 통해 엔티티 연결(Entity Linking)의 정확도를 높인다.

기존의 ETL(Extract, Transform, Load) 방식이 데이터의 다양성(Variety) 대응에 한계가 있었던 점을 지적하며, 물리적 통합 대신 가상 통합(Virtual Integration) 접근법을 제안한다. 이는 원본 소스를 유지하면서 통합된 글로벌 그래프(Global Graph)를 통해 쿼리를 수행하는 방식이다.

구현 측면에서는 RDF(Resource Description Framework) 트리플 형식을 사용하여 지식의 최소 단위를 표현하며, OWL(Web Ontology Language)을 통해 개념 간의 복잡한 제약 조건과 규칙(Axioms)을 정의함으로써 기계 학습 모델이 논리적 추론을 수행할 수 있는 환경을 조성한다.